Installing and Configuring JanusGraph – pt.1

اینجا در چند بخش نصب سریع و تنظیمات اولیه دیتابیس ژانوس‌گراف را خواهم گفت. JanusGraph ژانوس‌گراف دیتابیس همان‌طور که از نام مشخص است، یک دیتابیس با ویژگی‌های توسعه‌پذیری و بخش‌پذیری بر روی کلاستر، اختصاصی توسعه داده شده برای ذخیره و پیمایش بر روی یال‌ها و گره‌های یک گراف است. این… Continue reading

مانیتورینگ منابع لینوکس با ابزار SAR

یک ابزار بسیار سبک و کارآمد برای مانیتورینگ منابع سیستم لینوکسی SAR (System Activity Report) است. به راحتی منابع اصلی سیستم مانند پردازنده، حافظه و شبکه را مانیتور می‌کند. برای نصب دستور زیر را اجرا می‌کنیم: # aptitude install sysstat جهت فعال کردن: در هنگام نصب یک فایل کرون زمانبندی… Continue reading

Replication and Sharding in MongoDB pt2

  بخش دوم این مطلب به تنظیمات مربوط به سرورهای دیتا می‌پردازیم.   مسیر زیر را بر روی تمامی سرورهای shard ایجاد می‌کنیم: mkdir /data/db دستور مقابل را اجرا کرده تا پیام زیر نمایش داده شود: mongod –shardsvr waiting for connection on port 27018   در این مرحله باید سرورهای… Continue reading

Replication and Sharding in MongoDB pt1

  شاردینگ یک روش برای توزیع داده‌ها بر روی نودهای مختلف توسط دیتابیس Mongo است. در این مطلب به یک پیاده سازی ساده با سه سرور و یک replica set می پردازیم. نمای کلی از یک Sharding را در شکل زیر میتوانید ببینید.     در این حالت ما سه… Continue reading

DataFlow with Apache Flume

  یک ابزار مناسب برای انتقال داده‌ها از یک منبع به یک ذخیره ساز داده جهت نگهداری و پردازش جریان داده Apache Flume می باشد. flume توانایی انتقال داده‌ها به صورت  stream و log را از منابع مختلف مثل kafka , Local Disk , HTTP , SysLog و انواع دیگر… Continue reading

Bash Tips بخش اول

  وقتی یک دستور طولانی با بخش‌های متفاوت را در bash تایپ می کنید، ویرایش یک کلمه یا سطر کار مشکلی هست بخصوص حرکت بین حروف با نشانگر صفحه کلید. در این نوشته چند تا از کلیدهای میانبر bash را با هم مرور میکنیم: ALT+F حرکت نشانگر یک کلمه به… Continue reading

vi Tips بخش اول

  کار کردن با وبرایشگر متن vi خیلی مشکل نیست. اگر کسی به این ویرایشگر عادت پیدا کنه، کار کردن با بقیه ادیتورها خیلی مشکل میشه. من که بعد چند سال کار با این برنامه هنوز مشکل دارم. اینجا یکی دو تا از دستورات را مرور میکنیم.   برای اضافه… Continue reading

کپی فایل بین کلاسترهای Hadoop

  برای کپی فایل بر روی یک کلاستر هدوپ از دستور DistCp به راحتی میشه استفاده کرد. کاربرد این دستور برای کپی فایل بر روی چند کلاستر HDFS یا بین چندین کلاستر می باشد. این دستور از MapReduce  برای کپی کردن و ایجاد تسک‌های map برای توزیع کردن بلاک‌های فایل… Continue reading

ایجاد یک ارتباط امن با Reverse SSH

  تقریبا همه حداقل یکبار ارتباط ssh بین سرور و کلاینت را ایجاد کرده اند. در اکثر شبکه ها این ارتیاط یکطرفه است یعنی فقط از کلاینت به سرور ssh میشه وصل شد. حالا تصور کنید از یک سرور روی اینترنت میخواهید به یک کلاینت ارتباط بگیرید ولی پشت فایروال… Continue reading

تقسیم یک فایل به چند بخش با dd

  دیروز یه فایل تقریبا بزرگ در حدود 250GiB روی یک datastore متصل به سرور ESXi داشتیم که باید به یک سرور لینوکس دیگه منتقل میشد. امکان اتصال storage به سرور وجود نداشت، وضعیت شبکه هم بسیار کند و ناپایدار بود. راحترین راه که به ذهن رسید انتقال با scp… Continue reading