Natural Language Processing یا به اختصار NLP (پردازش زبان طبیعی) الگوریتمی است برای درک زبان انسان است و توانایی پردازش زبان گفتار را دارد و این در حالی است که NLP جزئی از هوش مصنوعی (AI) به حساب میآید.
توسعهٔ الگوریتمهای NLP بسیار چالشبرانگیز است چرا که کامپیوترها برای پردازشهای سنتی نیاز به یک انسان داشتند تا با یک زبان برنامهنویسی صریح، غیرمبهم و بسیار ساختاریافته یا از طریق تعداد محدودی از کامندهای صوتی کاملاً واضح مسائل را برای آنها تشریح کنند؛ در حالی که کلام انسان همیشه دقیق نیست، اغلب مبهم است و ساختار آن به بسیاری از متغیرهای پیچیده از جمله اصطلاحات عامیانه، گویشهای منطقهای و زمینههای اجتماعی بستگی دارد.
نحوهٔ کار NLP
رویکردهای فعلی NLP مبتنی بر یادگیری ژرف (Deep Learning) است؛ DL نوع هوش مصنوعی است که الگوی موجود در دادهها را بررسی میکند و از آنها برای بهبود درک ساختارهای پیچیده استفاده میکند. در مدلهای یادگیری ژرف (عمیق)، برای آموزش روی دادهها و شناسایی ارتباطات موجود در آنها به مقدار گستردهای دادههای لیبلدار نیاز است و جمعآوری این مجموعه دادههای بزرگ یکی از موانع اصلی حال حاضر NLP است.
رویکردهای قدیمیتر NLP شامل یک رویکرد مبتنی بر قوانین میشد که در آن الگوریتمهای سادهتری مانند یادگیری ماشین کلمات و عبارات را در متن جستجو میکردند و در صورت یافتن آن، پاسخ مناسب را برمیگردانند؛ اما یادگیری ژرف یک رویکرد انعطافپذیر و در عین حال قدرتمند است که در آن الگوریتمها هدف سخنگویان را از نمونههای بسیار زیاد یاد میگیرند (تقریباً مثل این است که کودکی زبان انسان را بیاموزد).