یاهو، سرویس پردازش بیگ دیتای خود تحت عنوان Vespa را اپن‌سورس کرد

یاهو، سرویس پردازش بیگ دیتای خود تحت عنوان Vespa را اپن‌سورس کرد

چندین ماه پس از خریده شدن توسط Verizon، یاهو بالاخره تصمیم گرفته است تا موتور پردازش بیگ دیتای خود تحت عنوان Vespa را اپن‌سورس کند (این سرویس پیش از این در انحصار برخی سرویس‌های یاهو مثل Yahoo News و Flickr بود).

به ادعای Oath، کمپانی مادر یاهو که خود زیرمجموعهٔ کمپانی Verizon است، وسپا در هر ثانیه حدود 90000 مطلب و تبلیغ را با تأخیر در حد چند میلی‌ثانیه، پردازش می‌کند. گفته شده است که این سرویس حتی می‌تواند جستجوی عکس و متن را در مقیاس چند صد کوئری در ثانیه، روی میلیاردها عکس به آسانی انجام دهد.

با وجود این، تیم‌های توسعه‌دهنده می‌توانند با استفاده از موتور جستجوی وسپا از طریق کوئری‌هایی همچون SQL و جستجو متنی، اقدام به فیلتر کردن محتوا کرده و داده‌ها را سازماندهی کرده و به صورت Real-time (ریل‌تایم یا در لحظه) ثبت کنند؛ همچنین این تکنولوژی قادر است روی دستگاه‌های متعددی داده‌ها را محاسبه و منتشر کند. علاوه بر این، موتور جستجوی وسپا می‌تواند کمک به ایجاد صفحاتی کند که دیتای آنها به صورت داینامیک ایجاد می‌گردد. Jon Bratseth، یکی از معماران برجستهٔ وسپا، در یک پست بلاگی نوشت:

ما با انتشار وسپا، ساخت اپلیکیشن‌هایی که پاسخگوی درخواست‌‌های کاربران از دیتاست‌های بزرگ به صورت ریل‌تایم و در مقیاس اینترنتی باشد رو برای همه آسون می‌کنیم؛ امکاناتی که تا به امروز در دسترس تعداد محدودی از شرکت‌های بزرگ بوده‌!

شرکت Oath، تشابهی را بین انتشار وسپا و ورود هدوپ در نظر می‌گیرد. یاهو، هدوپ را تحت نظر سرمایه‌گذارش Hortonworks، در ژوئن سال 2011 توسعه داد اما این در حالی است که بازار اپن‌سورس از زمان راه‌اندازی هدوپ پیشرفت چشمگیری داشته است.

تقاضا برای یک موتور پردازش بیگ دیتا مانند وسپا به اندازهٔ یک فریمورکی همانند هدوپ نخواهد بود! هدوپ از ابتدا به صورت اپن‌سورس عرضه شده بود در حالی که سورس‌کد وسپا، 12 سال پس از آغاز کار آن در سال 2005، که حاصل خرید AlltheWeb توسط یاهو بود، منتشر شده است.

وسپا، هم به صورت درون سازمانی و هم از روی کلود قابل‌اجرا است؛ این سرویس، همچنین به صورت ایمج قابل استفاده روی Docker و پکیج rpm نیز موجود است و سورس‌‌کد Vespa روی ریپازیتوری گیت‌هاب، به همراه مستندات کامل قابل دسترس است.

منبع


عبدالله داداشی