مقیاس بندی ویژگی در یادگیری ماشین

مقیاس‌بندی اعشاری (Decimal) 

هدف مقیاس‌بندی Decimal این است که مقادیر ویژگی‌ها را با توان ۱۰ مقیاس کنیم و اطمینان حاصل کنیم که بزرگترین قدر مطلق در هر ویژگی کمتر از ۱ می‌شود. به عبارتی، مقیاس‌بندی اعشاری با جابجایی نقطه اعشار در مقدار، مقدار ویژگی A را نرمال می کند و این جابه‌جایی نقطه اعشار به حداکثر مقدار مطلق ویژگی بستگی دارد. این روش، زمانی مفید است که محدوده مقادیر در یک مجموعه داده مشخص باشد، اما محدوده های متفاوت وجود داشته باشند. فرمول مقیاس‌بندی اعشاری به صورت زیر است:

که در آن،  X مقدار ویژگی اصلی است و d کوچکترین عدد صحیحی است که بر اساس آن، بزرگترین قدر مطلق در ویژگی کمتر از ۱ شود. به عنوان مثال، فرض کنید مقادیر مشاهده شده برای ویژگی  A در محدوده ۹۸۶- تا ۹۱۷ قرار دارند. بنابراین، حداکثر مقدار مطلق برای ویژگی A برابر ۹۸۶ است. در اینجا، برای مقیاس‌بندی هر مقدار از ویژگی A با استفاده از مقیاس ‌بندی اعشاری ، ما باید هر مقدار مشخص  A  را بر 1000 یعنی  ۳=d تقسیم کنیم. بنابراین، مقدار ۹۸۶- به ۰.۹۸۶- و ۹۱۷ به ۰.۹۱۷ نرمال می شود. 

توجه کنید که مقیاس بندی اعشاری زمانی سودمند است که ما با مجموعه داده هایی سروکار داریم که در آن قدرمطلق مقادیر بیشتر از مقیاس آنها اهمیت دارد.

مقیاس‌بندی لگاریتمی

مقیاس‌بندی لگاریتمی، با گرفتن لگاریتم هر نقطه داده، داده‌ها را به مقیاس لگاریتمی تبدیل می‌کند. این روش وقتی ویژگی‌هایی با واریانس بالا داریم می‌تواند مفید باشد. فرمول مقیاس‌بندی لگاریتمی به صورت زیر است:

روش مقیاس‌بندی لگاریتمی برای داده هایی که رشد یا نزول تصاعدی دارند، مفید است زیرا مقیاس مجموعه داده را فشرده می کند و تشخیص الگوها و روابط در داده ها را برای مدل ها آسان تر می کند. تغییر اندازه جمعیت در طی سال‌ها نمونه خوبی از مجموعه داده‌ای است که در آن برخی از ویژگی‌ها رشد تصاعدی را نشان می‌دهند. مقیاس‌بندی لگاریتمی می‌تواند این ویژگی‌ها را برای مدل‌سازی سازگارتر کند.

مقیاس‌بندی MaxAbs

در MaxAbs Scaler هر ویژگی با استفاده از حداکثر مقدار خود مقیاس بندی می شود. در ابتدا مقدار حداکثر مطلق ویژگی پیدا می شود و سپس مقادیر ویژگی با آن تقسیم می شوند. درست مانند MinMaxScaler MaxAbs Scaler نیز به نقاط پرت حساس هستند.

پیاده‌سازی در پایتون:

from sklearn.preprocessing import MaxAbsScaler()
maxabs = MaxAbsScaler ().fit(data)
data_norm = maxabs.transform(data(

مقیاس‌بندی منسجم (Robust)  

مقیاس بندی منسجم هنگام کار با مجموعه داده هایی که دارای مقادیر پرت هستند مفید است. این روش، به جای میانگین و انحراف معیار برای رسیدگی به نقاط پرت، از میانه و محدوده و بین چارکی (IQR) استفاده می کند. فرمول مقیاس بندی منسجم به صورت زیر است:

از آنجایی که مقیاس بندی منسجم در برابر نقاط پرت انعطاف پذیر است، برای مجموعه داده هایی با مقادیر کج (skewed) یا غیرعادی مناسب است.
پیاده‌سازی در پایتون:

from sklearn.preprocessing import RobustScaler
rob = RobustScaler().fit(data)
data_norm = rob.transform(data(

چالش‌های مقیاس‌بندی

ما در مورد مقیاس‌بندی و اینکه چرا در یادگیری ماشین مفید است بحث کردیم. مقیاس‌بندی اگرچه قدرتمند است، اما بدون چالش نیست. از رسیدگی به نقاط پرت گرفته تا انتخاب مناسب‌ترین تکنیک بر اساس مجموعه داده‌های شما، پرداختن به این مسائل برای آزادسازی پتانسیل کامل مدل یادگیری ماشین ضروری است.

رسیدگی به نقاط پرت

نقاط پرت، نقاط داده‌ای در مجموعه داده هستند که به طور قابل توجهی از مقدار نرمال داده‌ها دور هستند و اثربخشی تکنیک های مقیاس‌بندی را مخدوش می کنند. عدم مدیریت نقاط پرت در داده‌ها می‌تواند منجر به ایجاد تبدیل‌های  skewed  شود. برای حل این مشکل می‌توانید با تکنیک مقیاس‌پذیری منسجم (robust) که قبلاً در مورد آن صحبت کردیم، رسیدگی به نقاط پرت را کنترل کنید.
استراتژی دیگر استفاده از trimming یا winsorizing است، که در آن همه مقادیر ویژگی که بالا (یا پایین) مقدار مشخصی هستند، را به یک مقدار ثابت محدود می‌کنیم.

انتخاب تکنیک مقیاس‌بندی

ما مفیدترین تکنیک های مقیاس‌بندی را مورد بحث قرار دادیم، اما روش های بسیار بیشتری برای انتخاب وجود دارد. انتخاب تکنیک مناسب، نیاز به درک دقیق مجموعه داده دارد. هنگام پیش پردازش داده ها، باید چندین تکنیک مقیاس‌بندی را امتحان کنید و تأثیر آنها را بر عملکرد مدل ارزیابی کنید. آزمایش به شما امکان می دهد مشاهده کنید که چگونه هر روش بر فرآیند یادگیری تأثیر می گذارد.
شما باید درک عمیقی از ویژگی های داده به دست آورید. در نظر بگیرید که آیا مفروضات یک تکنیک مقیاس‌بندی خاص با توزیع و الگوهای موجود در مجموعه داده مطابقت دارد یا خیر.

مقیاس‌بندی داده های پراکنده

زمانی که با داده های پراکنده سروکار داریم که در آن‌ها بسیاری از مقادیر ویژگی صفر هستند، مقیاس‌بندی می‌تواند چالش برانگیز باشد. استفاده مستقیم از تکنیک های نرمال‌سازی یا استانداردسازی ممکن است منجر به عواقب ناخواسته شود. نسخه‌هایی از تکنیک‌های مقیاس‌بندی وجود دارد که در بالا مورد بحث قرار دادیم که به‌طور خاص برای داده‌های پراکنده طراحی شده‌اند، مانند ‘sparse min-max scaling’. 
قبل از مقیاس‌بندی، مقادیر گمشده را در مجموعه داده‌های خود impute یا مدیریت کنید. این کار اغلب یکی از اولین گام‌هایی است که در هنگام بررسی مجموعه داده‌های خود و تمیز کردن آن برای استفاده در مدل‌های یادگیری ماشین باید انجام دهید.

مقیاس‌بندی و خطر بیش برازشی

در یادگیری ماشین، بیش برازشی زمانی اتفاق می‌افتد که یک مدل نه تنها الگوهای اصلی در داده‌های آموزشی را یاد می‌گیرد، بلکه نویز و نوسانات تصادفی را نیز ثبت می‌کند. این کار می‌تواند منجر به مدلی شود که عملکرد فوق‌العاده‌ای روی داده‌های آموزشی دارد، اما نمی‌تواند به داده‌های جدید و نادیده تعمیم یابد.
مقیاس‌بندی به تنهایی ممکن است باعث بیش برازشی نشود. با این حال، هنگامی که مقیاس‌بندی با عوامل دیگر، مانند پیچیدگی مدل یا تنظیم (regularization) ناکافی ترکیب شود، می تواند باعث بیش برازشی شود. هنگامی که پارامترهای مقیاس‌بندی با استفاده از کل مجموعه داده (شامل اعتبارسنجی یا مجموعه های آزمایشی) محاسبه می شوند، می تواند منجر به نشت داده (data leakage) شود. این مدل ممکن است به طور ناخواسته اطلاعاتی را از اعتبارسنجی یا مجموعه های آزمایشی بیاموزد و توانایی آن را برای تعمیم به خطر بیندازد.
بنابراین، برای کاهش خطر بیش برازشی، بهتر است ابتدا مجموعه آموزشی را مقیاس‌بندی کنید و  سپس پارامترهای مقیاس‌بندی بدست آمده را در مجموعه های اعتبارسنجی و آزمایشی اعمال کنید. این کار تضمین می‌کند که مدل یاد می‌گیرد که فراتر از داده‌های آموزشی تعمیم یابد، بدون اینکه تحت تأثیر اطلاعات موجود در مجموعه‌های آزمایشی یا اعتبارسنجی قرار گیرد.
برای جریمه کردن مدل های بیش از حد پیچیده باید تکنیک های تنظیم (regularization) مناسب را پیاده سازی کنید. تنظیم از فیت شدن مدل به نویز در داده‌های آموزشی جلوگیری می‌کند. برای ارزیابی عملکرد مدل بر روی داده‌های دیده نشده، از تکنیک‌های اعتبارسنجی مناسب مانند اعتبارسنجی متقابل استفاده کنید. اگر در طول اعتبارسنجی بیش برازشی تشخیص داده شود، می توان تنظیماتی مانند کاهش پیچیدگی مدل یا افزایش تنظیم را انجام داد.

استفاده از مقیاس‌بندی در الگوریتم‌های یادگیری ماشین

اکنون زمان آن رسیده است که برخی از الگوریتم‌های یادگیری ماشین را روی داده‌های خود آموزش دهیم تا اثرات تکنیک‌های مختلف مقیاس‌بندی را بر روی عملکرد الگوریتم‌ها، مقایسه کنیم. بیایید اثر مقیاس‌بندی را روی سه الگوریتم ویژه ببینیم:  K- نزدیک‌ترین همسایه‌ها، رگرسیون پشتیبان بردار (SVR)، و درخت تصمیم.

k-نزدیکترین همسایه 

همانطور که قبلا دیدیم، KNN یک الگوریتم مبتنی بر فاصله است که تحت تأثیر دامنه ویژگی ها قرار می گیرد. بیایید ببینیم که چگونه بر روی داده‌های ما، قبل و بعد از مقیاس‌بندی عمل می‌کند:

# training a KNN model
from sklearn.neighbors import KNeighborsRegressor
# measuring RMSE score
from sklearn.metrics import mean_squared_error
# knn
knn = KNeighborsRegressor(n_neighbors=7)
rmse = []
# raw, normalized and standardized training and testing data
trainX = [X_train, X_train_norm, X_train_stand]
testX = [X_test, X_test_norm, X_test_stand]
# model fitting and measuring RMSE
for i in range(len(trainX)):
   # fit
   knn.fit(trainX[i],y_train)
   # predict
   pred = knn.predict(testX[i])
   # RMSE
   rmse.append(np.sqrt(mean_squared_error(y_test,pred)))
# visualizing the result
df_knn = pd.DataFrame({'RMSE':rmse},index=['Original','Normalized','Standardized'])
df_knn

می توانید ببینید که مقیاس بندی ویژگی ها، امتیاز RMSE مدل KNN را پایین آورده است. به طور خاص، داده‌های نرمال شده کمی بهتر از داده های استاندارد شده عمل می کنند.

رگرسیون بردار پشتیبان 

SVR یکی دیگر از الگوریتم های مبتنی بر فاصله است. بنابراین بیایید بررسی کنیم که با نرمال‌سازی بهتر کار می کند یا استانداردسازی.

# training an SVR model
from  sklearn.svm import SVR
# measuring RMSE score
from sklearn.metrics import mean_squared_error
# SVR
svr = SVR(kernel='rbf',C=5)
rmse = []
# raw, normalized and standardized training and testing data
trainX = [X_train, X_train_norm, X_train_stand]
testX = [X_test, X_test_norm, X_test_stand]
# model fitting and measuring RMSE
for i in range(len(trainX)):
   # fit
   svr.fit(trainX[i],y_train)
   # predict
   pred = svr.predict(testX[i])
   # RMSE
   rmse.append(np.sqrt(mean_squared_error(y_test,pred)))
# visualizing the result
df_svr = pd.DataFrame({'RMSE':rmse},index=['Original','Normalized','Standardized'])
df_svr

می‌توانیم ببینیم که مقیاس‌بندی ویژگی‌ها، امتیاز RMSE را پایین می‌آورد و داده های استاندارد شده بهتر از داده های نرمال شده عمل کرده اند. به نظر شما چرا اینطور است؟

مستندات sklearn بیان می کند که  SVM، با هسته RBF، فرض می کند که تمام ویژگی ها حول صفر هستند و واریانس از همان order است. این به این دلیل است که یک ویژگی با واریانس بیشتر از ویژگی های دیگر، برآوردگر را از یادگیری از همه ویژگی ها باز می دارد.

درخت تصمیم

همانطور که قبلا گفته شد، درخت تصمیم نسبت به مقیاس بندی ویژگی تغییرناپذیر است. حال بیایید با یک مثال عملی ،نحوه عملکرد آن را روی داده ها بررسی کنیم:

# training a Decision Tree model
from sklearn.tree import DecisionTreeRegressor
# measuring RMSE score
from sklearn.metrics import mean_squared_error
# Decision tree
dt = DecisionTreeRegressor(max_depth=10,random_state=27)
rmse = []
# raw, normalized and standardized training and testing data
trainX = [X_train,X_train_norm,X_train_stand]
testX = [X_test,X_test_norm,X_test_stand]
# model fitting and measuring RMSE
for i in range(len(trainX)):
   # fit
   dt.fit(trainX[i],y_train)
   # predict
   pred = dt.predict(testX[i])
   # RMSE
   rmse.append(np.sqrt(mean_squared_error(y_test,pred)))
# visualizing the result
df_dt = pd.DataFrame({'RMSE':rmse},index=['Original','Normalized','Standardized'])
df_dt

می بینید که امتیاز RMSE در مقیاس‌بندی ویژگی‌ها یک اینچ هم جابجا نشده است. بنابراین وقتی از الگوریتم‌های درختی بر روی داده های خود استفاده می کنید، می‌تواند خیالتان راحت باشد!