کپی فایل بین کلاسترهای Hadoop

برای کپی فایل بر روی یک کلاستر هدوپ از دستور DistCp به راحتی میشه استفاده کرد.

کاربرد این دستور برای کپی فایل بر روی چند کلاستر HDFS یا بین چندین کلاستر می باشد. این دستور از MapReduce  برای کپی کردن و ایجاد تسک‌های map برای توزیع کردن بلاک‌های فایل بر روی کلاستر استفاده می‌کند.

ساده ترین شکل استفاده از این دستور به صورت زیر است:

hadoop distcp hdfs://node-01:8020/source hdfs://node-02:8020/destination

با اجرا این دستور بر روی node-01 یک فایل temporary ایجاد شده و سپس با اجرای مجموعه ای از تسکهای map عملیات کپی بر روی HDFS مقصد با نام node-02 شروع می شود.

برای کپی چندین فایل از روی یک source بر روی مجموعه‌ای کلاسترها به صورت زیر نیز می‌توان کپی را انجام داد:

hadoop distcp hdfs://node-01:8020/source/xxa hdfs://node-01:8020/source/xxb hdfs://node-02:8020/destination