آرشیو دسته بندی ها Hadoop

DataFlow with Apache Flume

توسط | | , ,
دیدگاهتان را بنویسید

  یک ابزار مناسب برای انتقال داده‌ها از یک منبع به یک ذخیره ساز داده جهت نگهداری و پردازش جریان داده Apache Flume می باشد. flume توانایی انتقال داده‌ها به صورت  stream و log را از منابع مختلف مثل kafka , Local Disk , HTTP , SysLog و انواع دیگر… Continue reading →

کپی فایل بین کلاسترهای Hadoop

توسط | | , , ,
دیدگاهتان را بنویسید

  برای کپی فایل بر روی یک کلاستر هدوپ از دستور DistCp به راحتی میشه استفاده کرد. کاربرد این دستور برای کپی فایل بر روی چند کلاستر HDFS یا بین چندین کلاستر می باشد. این دستور از MapReduce  برای کپی کردن و ایجاد تسک‌های map برای توزیع کردن بلاک‌های فایل… Continue reading →