زمانی که آزمون فرض انجام می‌دهید، همیشه احتمال ارتکاب خطای نوع I وجود دارد. این خطا زمانی اتفاق می‌افتد که شما فرض صفر را رد می‌کنید، در حالی که واقعاً درست است. گاهی اوقات این خطا، خطای"مثبت کاذب" نامیده می‌شود (وقتی که ادعا می شود یک اثر آماری معنی دار وجود دارد، اما در واقع وجود ندارد).
هنگامی که آزمون فرض را انجام می دهیم، میزان خطای نوع I برابر با سطح معنی داری (α) است که معمولاً 0.01، 0.05 یا 0.10 انتخاب می شود. با این حال، هنگامی که چندین آزمون فرض را به طور همزمان انجام می دهیم، احتمال مثبت کاذب افزایش می یابد.
در واقع، هنگامی که چندین آزمون فرض را به طور همزمان انجام می دهیم، با چیزی که به عنوان نرخ خطای خانوادگی شناخته می شود، سروکار داریم و این احتمال وجود دارد که حداقل یکی از آزمون ها مثبت کاذب ایجاد کند. این خطا را می توان به صورت زیر محاسبه کرد:
Family-wise error rate = 1 – (1-α)nکه در آن:
α: سطح معنی داری برای یک آزمون فرض واحد
n: تعداد کل آزمون ها
اگر فقط یک آزمون فرض را با استفاده از α = 0.05 انجام دهیم، احتمال اینکه خطای نوع I را مرتکب شویم فقط 0.05 است و میزان خطای خانوادگی :
Family-wise error rate = 1 – (1-α)c = 1 – (1-.05)1 = 0.05اگر دو آزمون فرض را همزمان انجام دهیم و برای هر آزمون از α = 0.05 استفاده کنیم، احتمال اینکه خطای نوع I را مرتکب شویم به 0.0975 افزایش می یابد.
Family-wise error rate = 1 – (1-α)c = 1 – (1-.05)2 = 0.0975و اگر پنج آزمون فرض را همزمان با استفاده از α = 0.05 برای هر آزمون انجام دهیم، احتمال اینکه خطای نوع I را مرتکب شویم به 0.2262 افزایش می یابد.
Family-wise error rate = 1 – (1-α)c = 1 – (1-.05)5 = 0.2262به راحتی می توان فهمید که با افزایش تعداد آزمون های آماری، احتمال ارتکاب خطای نوع I با حداقل یکی از آزمون ها به سرعت افزایش می یابد.
یکی از راه های مقابله با این موضوع استفاده از تصحیح بونفرونی است.
تصحیح بونفرونی چیست؟
تصحیح بونفرونی به فرآیند تنظیم سطح آلفا (α) برای خانواده ای از آزمون های آماری اشاره دارد تا احتمال ارتکاب خطای نوع I کنترل شود.
فرمول تصحیح بونفرونی به شرح زیر است:
αnew = αoriginal / nکه در آن:
αoriginal: سطح α اصلی
n: تعداد کل مقایسه ها یا آزمایش های انجام شده
به عنوان مثال، اگر سه آزمون آماری را همزمان انجام دهیم و بخواهیم برای هر آزمون از α = 0.05 استفاده کنیم، تصحیح Bonferroni به ما می گوید که باید از αnew = 0.01667 استفاده کنیم.
αnew = αoriginal / n = .05 / 3 = .01667بنابراین، تنها در صورتی باید فرض صفر هر آزمون فردی را رد کنیم که مقدار p آزمون کمتر از 0.01667 باشد.
تصحیح بونفرونی: مثال
فرض کنید استادی می خواهد بداند که آیا سه تکنیک مختلف مطالعه منجر به نمرات امتحانی متفاوت در بین دانشجویان می شود یا خیر.
برای آزمایش این موضوع، او به طور تصادفی 30 دانشجو را به استفاده از هر تکنیک مطالعه اختصاص می دهد. پس از یک هفته استفاده از تکنیک مطالعه تعیین شده، هر دانشجو در امتحان یکسانی شرکت می کند.
سپس یک ANOVA یک طرفه را انجام می دهد و متوجه می شود که p-value کلی 0.0476 است. از آنجایی که این مقدار کمتر از 0.05 است، او فرض صفر ANOVA یک طرفه را رد می کند و نتیجه می گیرد که هر تکنیک مطالعه میانگین نمره امتحان یکسانی را ایجاد نمی کند.
برای اینکه بفهمد کدام تکنیک‌های مطالعه امتیاز آماری معنی‌داری ایجاد می‌کنند، او آزمون‌های t زوجی زیر را انجام می‌دهد:
- تکنیک 1 در مقابل تکنیک 2
- تکنیک 1 در مقابل تکنیک 3
- تکنیک 2 در مقابل تکنیک 3
او می خواهد احتمال ارتکاب خطای نوع I را در α = 0.05 کنترل کند. از آنجایی که او چندین آزمایش را همزمان انجام می‌دهد، تصمیم می‌گیرد یک تصحیح Bonferroni را اعمال کند و از αnew = 0.01667 استفاده کند.
αnew = αoriginal / n = .05 / 3 = .01667سپس برای هر گروه آزمون‌های t انجام می دهد و موارد زیر را می یابد:
- تکنیک 1در مقابل تکنیک 2: p-value = 0.0463
- تکنیک 1 در مقابل تکنیک 3: p-value = 0.3785
- تکنیک 2 در مقابل تکنیک 3: p-value = 0.0114
از آنجایی که p-value برای تکنیک 2 در مقابل تکنیک 3 تنها p-value کمتر از 0.01667 دارد، او نتیجه می‌گیرد که فقط از نظر آماری تفاوت معنی داری بین تکنیک 2 و تکنیک 3 وجود دارد.
