آشنایی با پروتکل اپن‌سورس REP گوگل


Robots Exclusion Protocol یا به اختصار REP یک پروتکل به منظور تحلیل فایل‌های robots.txt است که با استفاده از زبان سی‌پلاس‌پلاس توسط مهندسین گوگل توسعه یافته و این در حالی است که بخش‌هایی از این لایبرری در دههٔ ۹۰ میلادی کدنویسی شده است!

اولین کسی باشید که به این سؤال پاسخ می‌دهید

در پاسخ به این پرسش که «اساساً چنین پروتکلی چه کاربردی دارا است؟» می‌توان گفت که REP استانداردی می‌باشد که وب‌مسترها را قادر می‌سازد تا این اجازه را به موتورهای جستجویی همچون گوگل،‌ بینگ و ... بدهند که کدام دسته از فایل‌ها قابل‌روئیت بوده و بالتبع بتوانند توسط موتورهای جستجو ایندکس شوند.

در نهایت، مدیران گوگل تصمیم گرفتند تا در ماه جولای ۲۰۱۹ این ابزار را به صورت  اپن‌سورس تحت لیسانس آپاچی منتشر کنند که از این پس در ریپازتوری Google Robots.txt Parser and Matcher Library در گیت‌هاب در دسترس است (همچنین یک ابزار تست نیز داخل پکیج این لایبرری گنجانده شده تا توسعه‌دهندگان به سادگی بتوانند اقدام به تست فایل‌های robots.txt کنند.)