בדיקת השערות (כשסטיית התקן ידועה)

הפתיחה

מחקר על תרופה חדשה. 50 חולים קיבלו אותה, ממוצע הזמן להחלמה ירד מ-14 יום ל-11.5. האם זה מספיק כדי לאמר שהתרופה עובדת? או אולי זה רק מקריות?

בדיקת השערות (Hypothesis Testing) היא הכלי שמאפשר לנו לענות על שאלה כזו. לא "האם אנחנו בטוחים 100%?" — אלא "האם הנתונים שמדדנו הם תואמים-להיפוטזה-שהאפקט-אינו-קיים, או שסביר יותר שהאפקט אמיתי?"

ההיגיון הבסיסי: ספק ועד לסתירה

בדיקת-השערות פועלת כמו מערכת-משפטית: מניחים את ההשערה הממנה (H₀) כנכונה — כמו "חזקת חפות" — ואז שואלים: "עד כמה הנתונים שמדדנו קיצוניים, בהנחה שH₀ נכונה?"

אם הנתונים קיצוניים מאוד תחת H₀ — דוחים את H₀. אם לא — לא דוחים (לא "מקבלים" — ההבדל חשוב).

שתי ההשערות

H₀ — השערת האפס (Null Hypothesis): הטענה שאנחנו מנסים לדחות. בדרך כלל "אין אפקט", "אין שינוי", "אין הבדל".
דוגמה: "זמן ההחלמה הממוצע = 14 יום" (כאילו התרופה לא עוזרת).

H₁ — השערה חלופית (Alternative Hypothesis): מה שנרצה להוכיח אם נדחה את H₀.
דוגמה: "זמן ההחלמה ממוצע < 14 יום" (התרופה מקצרת החלמה).

שני סוגי בדיקות

חשוב: לבחור את סוג הבדיקה לפני שרואים את הנתונים. בחירה אחרי ראיית הנתונים = עיוות.

תחום הדחייה ותחום הקבלה

רמת המובהקות α (בדרך כלל 0.05 = 5%) קובעת את "הקו האדום":

• אם התוצאה שמדדנו קיצונית מספיק כדי להתרחש בפחות מ-α מהמקרים תחת H₀ → דוחים H₀.
• אחרת → לא דוחים H₀.

תחומים לפי סוג בדיקה (α=0.05):

הנוסחה: סטטיסטיקת הבדיקה z

z = (x̄ − μ₀) / (σ/√n)

כאשר:
– x̄ = ממוצע המדגם שמדדנו
– μ₀ = הממוצע הנטען ב-H₀
– σ = סטיית תקן ידועה
– n = גודל המדגם

תהליך הבדיקה — שבעה שלבים

דוגמה — מכונה במפעל

מפעל ישראלי מייצר בורגים. הספציפיקציה: קוטר ממוצע μ₀ = 10.0 מ"מ, σ = 0.05 מ"מ (ידועה מניסיון). מדגם של n=36 בורגים נמדד: x̄ = 10.015 מ"מ. האם המכונה סטתה?

שלב 1 — ניסוח:

בדיקה דו-זנבית כי אנחנו בודקים כל סטייה, לא כיוון ספציפי.

שלב 2 — α = 0.05, z_קריטי = ±1.960

שלב 3 — חישוב z:

שלב 4 — החלטה:

| z_חישובי | תחום דחייה (|z|>1.96) | החלטה |
|—|—|—|
| 1.80 | 1.80 < 1.96 | לא דוחים H₀ |

מסקנה: אין ראיות מספיקות לכך שהמכונה סטתה. הסטייה ב-x̄ עשויה להיות תוצאת דגימה מקרית.

שתי סוגי טעויות — האנלוגיה המשפטית

זה אחד הרעיונות הכי יפים בסטטיסטיקה:

ה-α שבחרנו הוא בדיוק ההסתברות לטעות-מסוג-I. כשמשתמשים ב-α=0.05, אנחנו מסכימים שב-5% מהמקרים — גם כשH₀ נכונה — הנתונים יראו "קיצוניים מספיק" ונדחה אותה בטעות.

בפרמקולוגיה ובניסויים רפואיים — לעיתים קרובות דורשים α=0.01 בדיוק בגלל זה: לא רוצים "להרשיע תרופה שלא עובדת".

מנגנון טעות סוג-II והעוצמה — למה מפספסים אפקט אמיתי

עשרות אלפי ישראלים משלמים מדי שנה אלפי שקלים על קורס הכנה לפסיכומטרי, מתוך אמונה שהוא מעלה את הציון. האם הוא באמת עובד? זו בדיוק שאלה של בדיקת השערות — ולעיתים קרובות הניסוי שנערך כדי לענות עליה פשוט קטן מדי מכדי לזהות שיפור אמיתי, גם כשהוא קיים. כדי להבין מתי זה קורה, צריך להכיר את הטעות שקל לשכוח: טעות סוג-II.

בפרק כבר ראינו שתי טעויות. טעות סוג-I היא אזעקת-שווא: דחיית השערת ה-0 הנכונה — לקבוע שהקורס עוזר בעוד הוא חסר השפעה. טעות סוג-II היא ההפך: לקבל את השערת ה-0 למרות שהיא שגויה — לפספס שיפור אמיתי ולקבוע "אין השפעה". הסתברותה מסומנת באות beta. הספר הגדיר את שתי הטעויות, אבל את המנגנון של טעות סוג-II — למה בכלל מפספסים אפקט שקיים — כדאי לראות במלואו, כי הוא לב העניין.

שתי ההתפלגויות — מאיפה מגיע הפספוס

נחזור לתמונת שתי ההתפלגויות. התפלגות A מתארת את העולם תחת השערת ה-0: אין השפעה, התוחלת היא הערך המקורי. התפלגות B מתארת את העולם תחת ההשערה הנגדית: יש השפעה אמיתית, והתוחלת זזה. הבעיה: את הקו האדום שלנו אנחנו מציבים תמיד לפי התפלגות A — כי זו ההשערה שאנחנו בודקים. אבל אם המציאות היא B, חלק נכבד מהתפלגות B נופל דווקא בתחום הסביר של A — משמאל לקו האדום. בכל פעם שהמדגם נוחת שם, נקבל בטעות את השערת ה-0 ונפספס את ההשפעה. השטח של B שנופל בתחום הסביר הוא בדיוק beta.

דוגמה פתורה — מחשבים את β ואת העוצמה

נבחן מבחן מיון סטנדרטי שבאוכלוסייה הכללית מתפלג נורמלית עם תוחלת mu_0 = 100 וסטיית תקן sigma = 15. קורס ההכנה טוען שהוא מעלה את התוחלת ל-mu_1 = 106 — שיפור של שש נקודות. נבדוק את הטענה על מדגם של 25 בוגרי-קורס, ברמת מובהקות של 5% וקו אדום אחד מימין (ההשערה הנגדית טוענת שהציון עולה). תחילה סטיית התקן של הממוצע:

הקו האדום, ברמת מובהקות 5% חד-זנבית, יושב 1.64 סטיות-תקן מימין לתוחלת של A:

עכשיו השאלה המכרעת: אם הקורס באמת מעלה ל-106 (המציאות היא B), מה ההסתברות שהממוצע שלנו ייפול בכל זאת משמאל לקו האדום, ונפספס? נתקנן את הקו האדום ביחס להתפלגות B, שתוחלתה 106:

כלומר ב-36% מהמקרים נפספס את ההשפעה האמיתית. המשלים נקרא עוצמת המבחן — ההסתברות לזהות נכון אפקט שקיים:

עוצמה של 64% בלבד. גם אם הקורס באמת עובד, לניסוי הזה יש סיכוי של יותר משליש להחמיץ אותו ולפרסם "לא נמצאה השפעה מובהקת". זה ההבדל העדין אך הקריטי: "לא נמצאה השפעה" אינו "אין השפעה".

הסחר בין שתי הטעויות — ומה הידית החינמית

טעות סוג-I וטעות סוג-II נסחרות זו בזו. אם נרצה להקטין אזעקות-שווא ונחמיר את רמת המובהקות, הקו האדום זז ימינה — ואז יותר מהתפלגות B נופל בתחום הסביר, כלומר beta גדל והעוצמה יורדת. וההפך: אם נרפה ונבדוק ברמת מובהקות של 10% (z = 1.28), הקו האדום זז שמאלה ל-103.84, וכעת:

העוצמה עלתה מ-64% ל-76% — אבל המחיר הוא שאזעקות-השווא הוכפלו, מ-5% ל-10%. אי אפשר להקטין את שתי הטעויות בבת-אחת רק על-ידי הזזת הקו; כל הזזה מיטיבה עם אחת ופוגעת בשנייה.

יש בכל זאת ידית אחת שמשפרת את העוצמה בלי להחמיר אף טעות אחרת: הגדלת המדגם. מדגם גדול יותר מצמצם את סטיית התקן של הממוצע, ושתי ההתפלגויות נעשות צרות וחדות — והחפיפה ביניהן מצטמקת. נחזור על אותו מבחן, הפעם עם 100 נבחנים במקום 25, ברמת מובהקות 5% כמקודם:

אותה רמת מובהקות בדיוק, אותו אפקט בדיוק — אבל העוצמה קפצה מ-64% ל-99%, ו-beta צנח מ-36% לאחוז אחד. זה הלקח המעשי: כשמישהו טוען שניסוי "לא מצא הבדל מובהק", השאלה הראשונה אינה אם ההשפעה קיימת, אלא אם לניסוי היה בכלל מספיק כוח לזהות אותה. מבחן חלש-עוצמה שותק לא משום שאין מה לומר, אלא משום שלא נתנו לו את הכלים לשמוע.

p-value — השפה של עיתוני-מחקר

p-value הוא ההסתברות לקבל תוצאה קיצונית לפחות כמו זו שמדדנו, בהנחה שH₀ נכונה.

• p-value < α → דוחים H₀
• p-value > α → לא דוחים H₀

בדוגמת המכונה: z=1.80 → p-value = P(|Z|>1.80) = 2×(1−0.9641) = 0.0718.
כי 0.0718 > 0.05 — לא דוחים.

עיתוני מחקר כמעט תמיד מדווחים p-value. הביטוי "p < 0.05" = "דוחים H₀ ברמת מובהקות 5%".

מה זה אומר עבורך

כשאתם קוראים "המחקר הראה שהתרופה X עובדת (p<0.05)" — כעת אתם יודעים מה זה אומר: לא "הוכחנו שהיא עובדת". אמרנו: "אם היא לא הייתה עובדת, הסיכוי לראות תוצאות כאלה הוא פחות מ-5%". ב-α=0.05, 5 מכל 100 מחקרים ידחו H₀ בטעות — גם כשהתרופה לא עוזרת.

סיכום