امکان اشتباه در الگوریتم پروژه ی اسکای نت آژانس امنیت ملی آمریکا و کشته شدن هزاران بی گناه

امکان اشتباه در الگوریتم پروژه ی اسکای نت آژانس امنیت ملی آمریکا و کشته شدن هزاران بی گناه

شاید درباره ی پروژه ی SKYNET آژانس امنیت ملی آمریکا (NSA) که به مطالعه ی ابرداده ها به منظور شناسایی تروریست ها می پردازد شنیده باشید. به تازگی یک متخصص برخی از اسناد فاش شده از این پروژه را بررسی و به چندین نمونه از معایب الگوریتم یادگیری ماشینی به کار رفته در تعیین امکان تروریست بودن یک فرد اشاره کرده است. برای اطلاع از جزییات این خبر، با سکان آکادمی همراه باشید.

با توجه به اسناد فاش شده، این احتمال وجود دارد که آژانس امنیت ملی آمریکا افراد بی گناه زیادی را به این دلیل که اشتباها در لیست تروریست ها قرار گرفته اند کشته باشد.

در سال 2014 اسناد فاش شده توسط اسنودن نشان می داد که برنامه ی اسکای نت آژانس امنیت ملی آمریکا با تحت نظر گرفتن شبکه ی تلفن همراه پاکستان به جمع آوری اطلاعات پرداخته است. پس از جمع آوری اطلاعات، اسکای نت از یک الگوریتم یادگیری ماشینی برای بررسی اطلاعات به دست آمده از 55 میلیون نفر و تشخیص احتمال تروریست بودن افراد، استفاده کرده است. با استفاده از پیش بینی های الگوریتم یادگیری ماشینی، آژانس امنیت ملی آمریکا اقدام به حملات هواپیماهای بدون سرنشین کرده است.

اکنون، پاتریک بال، مدیر اجرایی گروه تحلیل داده های حقوق بشر و دانشمند داده، این الگوریتم NSA را "مزخرف" و "به طرز تمسخرآمیزی خوش بینانه" توصیف کرده است. بال در مصاحبه با Ars اعلام کرده که چطور یک اشکال در الگوریتم یادگیری ماشینی اسکای نت می تواند نتایج خطرناکی به دنبال داشته باشد.

اگر به اسناد فاش شده از NSA نگاهی بیندازیم این اطلاعات نشان می دهد که برنامه ی یادگیری ماشینی از سال 2007 مورد استفاده قرار گرفته است. بال می گوید که از آن زمان تاکنون هزاران انسان بی گناه اشتباها تروریست شناخته شده و کشته شده اند.

اسکای نت ابرداده هایی نظیر شماره های گرفته شده و سایر اطلاعات تماس مثل طول تماس، ساعت، دو طرف مکالمه و محل استقرار کاربران را جمع آوری می کند. در کمال تعجب، کاربرانی که تلفن همراهشان را خاموش می کنند یا سیمکارت خود را عوض می کنند نادیده گرفته می شوند. اسکای نت تمامی این اطلاعات را در کنار هم قرار می دهد و یک طرح کلی از برنامه های روتین یک فرد ارائه می دهد. این برنامه از این فرضیه استفاده می کند که رفتار یک تروریست با افراد عادی متفاوت است. برای آموزش این برنامه برای تشخیص تروریست ها از اطلاعات تروریست های شناخته شده استفاده شده است.

به نقل از Ars، مشکل اصلی این الگوریتم این است که تروریست های شناخته ی شده ی کمی وجود دارند که بتوان از اطلاعات آن ها برای آموزش این الگوریتم بهره برد. اسناد داخلی آژانس امنیت ملی آمریکا نشان می دهد که اسکای نت از مجموعه ای از حقایق پیش فرض برای تشخیص تروریست ها استفاده کرده و دیگر کاربران را بی گناه تشخیص می دهد.

این گزارش نشان می دهد که در سال 2012 ، ان اس ای 55 میلیون تماس تلفنی را بررسی کرده است. سپس تقسیم بندی اسکای نت، ابرداده ها را آنالیز کرده و بر اساس آن ها برای هر فرد نمره ای منظور می کند. هر چه این نمره بالاتر باشد احتمال تروریست بودن فرد بیشتر می شود و کمترین نمره ها مربوط به افراد عادی است. NSA از این الگوریتم رندوم استفاده می کند که معمولا در اپلیکیشن های بیگ دیتا (Big Data) کاربرد دارند.

اکنون اسکای نت از یک مقدار مشخص برای تشخیص احتمال تروریست بودن افراد استفاده می کند و برای نمرات کسب شده، سطح خاصی را مشخص کرده است. کسانی که بالاتر از این سطح قرار می گیرند تروریست شناخته می شوند. اسلایدهای NSA نشان می دهد که 50 درصد نتایج ارزشیابی، منفی کاذب هستند. بال این موضوع را این گونه تشریح می کند:

آنها از این روش استفاده می کنند چون هر چه نتایج منفی کاذب کمتر باشد، نتایج مثبت کاذب بیشتر می شود. کم کردن سطح در نظر گرفته شده برای کاهش نتایج منفی کاذب به معنای پذیرش هزاران نتیجه ی مثبت کاذب است.

برای بررسی و طراحی این مدل، اطلاعات تعداد کمی از تروریست های شناخته شده مورد استفاده قرار گرفته است در حالی که باید از مجموعه ی وسیعی از اطلاعات، بهره برداری شود. این نحوه ی آنالیز NSA، شاخص خوبی برای کیفیت این شیوه نیست. در حالی که نرخ شکست 0.008% در کاربردهای تجاری به طور قابل ملاحظه ای کم و قابل چشم پوشی است اما نرخ 0.18% نتایج مثبت کاذب آژانس امنیت ملی آمریکا به معنای پذیرش مرگ هزاران انسان بی گناه است که بر اثر اشتباه، تروریست تشخیص داده شده اند. با مطالعه ی گزارش کامل Ars Technica می توانید در این مورد اطلاعات بیشتری کسب کرده و نظرات خود را با سکان آکادمی به اشتراک بگذارید.

از بهترین نوشته‌های کاربران سکان آکادمی در سکان پلاس


online-support-icon