در ادامهی قسمت قبل، در این قسمت اقدام به استفاده از قابلیت rollover و بررسی مزایای آن خواهیم کرد.
در این قسمت، برای جمعآوری داده از دیتابیس های SQL و انتقال آنها به Elasticsearch یک pipeline ایجاد کرده و ضمن آن با انواع تنظیمات مربوط به JDBC input در Logstash آشنا خواهیم شد. همچنین با روش اجرای Logstash به صورت یک سرویس سیستمی آشنا شده و قابلیت های این روش را بررسی میکنیم.
در این قسمت برای انتقال و پردازش دادههای لاگ وب سرور Apache یک pipeline طراحی خواهیم کرد. برای این منظور از فیلتر grok در Logstash استفاده خواهیم کرد.
در این قسمت، شروع به پردازش دادههای فایل ورودی کرده و با اعمال فیلترهایی اقدام به دستکاری دادهها قبل از انتقال به خروجی خواهیم کرد.
در این قسمت اقدام به پیاده سازی یک ILM policy بدون استفاده از قابلیت rollover کرده و ضمن بررسی نحوهی عملکرد ILM، معایب عدم استفاده از rollover را بررسی میکنیم.
در این بخش قصد داریم تا در مورد روشهای مدیریت دادهها در طول زمان صحبت کنیم.
در این قسمت شروع به طراحی اولین فایل conf برای ایجاد یک pipeline خواهیم کرد. در این pipeline قصد داریم تا با استفاده از file input plugin در Logstash برای انتقال دادهها از فایل ورودی به Elasticsearch اقدام کنیم.
در این قسمت با مهمترین تنظیمات سرویس Logstash از جمله تنظیمات مخصوص persisted queue و تعریف pipeline آشنا میشویم.
در این دوره با استفاده از ظرفیت های پشته ELK که شامل سرویس های Kibana ،Elasticsearch و Logstash است؛ با روشهایی ساده و با حداقل پیچیدگی به جمع آوری، مدیریت و بهرهگیری از دادهها در ابعاد بالا میپردازیم.
در این بخش روشهای نصب Kibana (فایل باینری، ریپازیتوری، داکر) و مراحل تنظیم و راهاندازی آن، به همراه اتصال به Elasticsearch را بررسی میکنیم.