ניתוח סטטיסטי של תוצאות האמידה

הפתיחה

נאמר שאמדנו את הרגרסיה הישראלית מפרק 2 ומצאנו (hatbeta = 1,100) — כל שנת-לימוד מוסיפה כ-₪1,100 לחודש. מצוין. אבל: עד כמה אנחנו בטוחים? (hatbeta) הוא אומד שחישבנו ממדגם ספציפי של 10 עובדים. אם נאסוף מדגם אחר — נקבל (hatbeta) שונה במקצת. אולי 950, אולי 1,250.

המספר שמכמת את חוסר-הוודאות הזה נקרא שגיאת-תקן של האומד. ומכאן בנויים: מרווח-הסמך, מבחן-המובהקות, ומדד-ההתאמה (R^2).

הפניה לאשכול: אם למדת כבר את ספר סטטיסטיקה למתקדמים — כל הכלים כאן הם יישום של מה שלמדת שם. ה-t-test, מרווחי-הסמך, ההשערה האפסית — מגיעים מאותה מסגרת. ההבדל: כאן X הוא משתנה רציף שאנחנו אמדנו, לא ממוצע-מדגם.

שגיאת-תקן של האומד

[hatsigma_{hatbeta} = sqrt{frac{hatsigma^2}{sum(X_i – bar X)^2}}]

שבה (hatsigma^2 = frac{sum e_i^2}{n-2}) היא אמידת שונות-השגיאות מנתוני המדגם.

פירוש מעשי: (hatsigma_{hatbeta}) גדול = האומד מתנדנד הרבה מדגם-למדגם, קשה לסמוך עליו. קטן = האומד יציב, סביר לסמוך.

מרווח-סמך ל-(beta)

גרסה מהירה: (hatbeta pm 2hatsigma_{hatbeta})

פירוש: ב-95% מהמדגמים האפשריים, הפרמטר האמיתי (beta) יהיה בתוך הטווח הזה.

גרסה מדויקת: (hatbeta pm t_{alpha/2, n-2} cdot hatsigma_{hatbeta})

שבה (t_{alpha/2, n-2}) הוא ערך-קריטי מטבלת-t עם (n-2) דרגות-חופש.

דוגמה: (hatbeta = 1,100), (hatsigma_{hatbeta} = 150), (n = 10).
מרווח-סמך 95% (גרסה מהירה): ([800, 1400]).
הפרשנות: "בביטחון של 95%, כל שנת-לימוד תוסיף בין ₪800 ל-₪1,400 לחודש".

מבחן-t לפרמטר (beta)

ההשערות

(H_0: beta = 0) — "שנות-לימוד לא משפיעות על שכר".
(H_1: beta neq 0) — "יש השפעה".

סטטיסטיקת-t

[t = frac{hatbeta – beta_0}{hatsigma_{hatbeta}} = frac{hatbeta – 0}{hatsigma_{hatbeta}}]

כלל-ההחלטה

אם (|t| > t_{critical}) (ערך-קריטי מטבלה, בדרך-כלל ~2 לגדול (n)) — דוחים (H_0). הפרמטר מובהק סטטיסטית.

דוגמה: (t = 1100/150 approx 7.3). (t_{critical} approx 2.3) (בטבלה, (n-2=8) דרגות-חופש, 5%). (7.3 > 2.3) — דוחים (H_0). השכלה משפיעה מובהקת על שכר.

מבחן-t מול ערך לא-אפסי — כשיש לכם מידע מוקדם לבדוק

עד כאן השתמשנו במבחן-t רק כדי לבדוק אם פרמטר שונה מאפס — כלומר אם המשתנה המסביר בכלל משפיע. אבל זהו רק מקרה פרטי. מבחן-t יודע לבדוק כל ערך תיאורטי, לא רק אפס. נניח שחוקר מתחום החקלאות מקבל מידע מוקדם: כל עליית טמפרטורה במעלה אחת מעלה את יבול העגבניות בערוגה סטנדרטית ב-3.1 ק"ג. הוא חושד שהמספר הזה לא מדויק ורוצה לבדוק אותו במו הנתונים.

המידע המוקדם הופך להשערת-האפס, והחשד שלו להשערה האלטרנטיבית:

החוקר הכין 10 ערוגות בתנאי מעבדה, סיפק לכל אחת חימום שונה, שקל את היבול, והריץ את האמידה. התוצאה: hatbeta = 3 עם שגיאת-תקן hatsigma_{hatbeta} = 0.084861. עכשיו השאלה היא לא "האם 3 שונה מאפס" אלא "האם 3 רחוק מספיק מ-3.1 כדי לפסול את המידע המוקדם". את המרחק מודדים בסטיות-תקן — וזה בדיוק ה-t הסטטיסטי:

שימו לב להבדל מהמקרה המוכר: באגף-המונה לא מופיע אפס אלא 3.1 — הערך שאת נכונותו בודקים. התוצאה שהתקבלה רחוקה 1.178 סטיות-תקן מהמידע המוקדם. הערך המוחלט קטן מ-2, ולכן המרחק נחשב קטן: לא דוחים את H_0, ומחליטים שהמידע המוקדם — 3.1 ק"ג למעלה — סביר לאור הנתונים.

אותו כלי, החלטה הפוכה

חוקר אחר ניגש לאותם נתונים עם מידע מוקדם שונה: לטענתו התוספת היא 3.3 ק"ג למעלה. ההשערות שלו הן H_0: beta = 3.3 מול H_1: beta neq 3.3, ותוצאות האמידה זהות (hatbeta = 3, hatsigma_{hatbeta} = 0.084861). נחשב:

הפעם לא נסתפק בכלל-האצבע "גדול מ-2". במדגם יש 10 תצפיות ובמודל 2 פרמטרים, ולכן מספר דרגות-החופש הוא 10 – 2 = 8. הערך המדויק מטבלת-t עבור 8 דרגות-חופש (ברמת-מובהקות 5%) הוא 2.306. כיוון ש-|-3.535| gt 2.306, דוחים את H_0: המידע המוקדם של 3.3 ק"ג אינו עומד מול הנתונים. אותו אומד בדיוק (hatbeta = 3) — פעם תומך במידע המוקדם ופעם סותר אותו, תלוי לאיזה ערך תיאורטי משווים.

כשההשערה לא כתובה בצורת "β שווה ל-"

לפעמים ההשערה מוצגת בצורה עקיפה, שאינה מבודדת את הפרמטר. למשל:

אי-אפשר לחשב t ישירות מצורה כזו — קודם צריך לבודד את beta באגף שמאל באמצעות אלגברה פשוטה:

אחרי הבידוד מתברר שזו אותה השערה שכבר בדקנו בדוגמה הקודמת — beta = 3.3 — וכבר דחינו אותה. הלקח: לפני שמחשבים t, תמיד מביאים את ההשערה לצורה שבה הפרמטר עומד לבדו באגף שמאל, ורק אז מציבים בנוסחה.

R² — מדד-ההתאמה

[R^2 = 1 – frac{sum e_i^2}{sum(Y_i – bar Y)^2}]

קצוות

(R^2 = 0) — קו-הרגרסיה לא מסביר שום דבר. ניתן היה לחזות (Y) כ-(bar Y) באותה הצלחה.

(R^2 = 1) — כל הנקודות על הקו. (hat Y = Y) לכל תצפית. פיזור-אפס.

פרשנות

(R^2 = 0.85) אומר: 85% מהשונות של (Y) מוסברת על-ידי X. ה-15% הנותרים — גורם-המקריות u.

אזהרה: (R^2) גבוה לא אומר שהמודל נכון. אפשר לקבל (R^2 = 0.99) ממודל שגוי לחלוטין (למשל: שני משתנים שגדלים יחד עם הזמן — "מתאם-מרמה"). (R^2) מודד התאמה, לא סיבתיות.

השוואת R² בין מודלים — מתי זה בכלל חוקי

השימוש המעשי הנפוץ ביותר ב-R² הוא לא לפרש מודל בודד אלא להשוות בין שניים: איזה משתנה מסביר טוב יותר את התופעה. נניח ששני חוקרים מנסים להסביר את אותו Y ממדגם של 15 תצפיות — חוקר א' באמצעות משתנה X, חוקר ב' באמצעות משתנה Z. R² של חוקר א' הוא 0.2087, ושל חוקר ב' 0.8145. המסקנה ברורה: Z מסביר את Y הרבה יותר טוב מ-X — הנקודות שלו מרוכזות הדוק יותר סביב קו-הרגרסיה.

אבל ההשוואה הזו חוקית רק כשמתקיימים שני תנאים. בלעדיהם R² גבוה יותר אינו אומר "מודל טוב יותר": (1) לשני המודלים אותו משתנה מוסבר, ו(2) לשני המודלים אותו מספר של משתנים מסבירים (כולל החותך).

התנאי הראשון מובן מאליו: אין טעם להשוות מודל שמסביר שכר למודל שמסביר מחירי-דירות — הם מודדים שונוּת של דברים שונים. התנאי השני עדין יותר ותופס רבים: R^2 כמעט אף פעם לא יורד כשמוסיפים משתנה מסביר, גם אם המשתנה החדש חסר-משמעות לחלוטין. לכן מודל עם חמישה מסבירים "ינצח" כמעט תמיד מודל עם שניים — לא בזכות הסבר טוב יותר, אלא רק בזכות מספר המשתנים. בדוגמת שני החוקרים שני התנאים מתקיימים: בשניהם המשתנה המוסבר הוא Y, ובשניהם יש משתנה מסביר אחד וחותך — ולכן ההשוואה תקפה.

מה זה אומר עבורכם: כשמחקר מציג שני מודלים וטוען שהאחד "מסביר טוב יותר" כי ה-R² שלו גבוה — בדקו קודם שמדובר באותו משתנה מוסבר ובאותו מספר מסבירים. אם המודל המנצח פשוט שופע יותר משתנים, ה-R² הגבוה שלו הוא תוצאה של ספירה, לא של הסבר.

קריאת פלט-רגרסיה אמיתי — שורה-שורה

פלט-Python (statsmodels) נראה כך (מעובד לדוגמה):

                 coef    std err          t      P>|t|     [0.025     0.975]
const        -8911.25    1759.04     -5.067      0.001  -12961.      -4861.
education     1252.08     116.04     10.790      0.000     984.       1520.

קריאה שורה-שורה:

המספרים: (hatbeta = 1252) (₪ לכל שנת-לימוד), p < 0.001 (מובהק בחוזקה), מרווח-סמך 95%: ([984, 1520]).

מה זה אומר עבורכם. כשמחקר מדווח "(beta = 1.2), מובהק ב-5%" — עכשיו אתם יודעים לקרוא את זה: (hatbeta = 1.2), (p < 0.05), מרווח-הסמך 95% לא חוצה את האפס. ושאלה טובה: "מה גודל (R^2)? כמה מהשונות נשארת לא-מוסברת?"

סיכום

שגיאת-תקן (hatsigma_{hatbeta}) מכמתת את אי-הוודאות של (hatbeta). מרווח-סמך (hatbeta pm t cdot hatsigma_{hatbeta}) — הטווח שיכיל את (beta) האמיתי ב-95% מהמדגמים. מבחן-t בוחן אם (beta) מובהק שונה מאפס. (R^2) — כמה מהשונות של Y מוסברת על-ידי X. בפרק הבא: רגרסיה עם יותר ממשתנה מסביר אחד.

פרק זה הוא חינוך פיננסי-כלכלי — הסבר של מנגנונים, לא ייעוץ. כל ניתוח כלכלי אמיתי דורש בדיקת נתונים עדכניים ושיקול דעת מקצועי.

הפניה צולבת לאשכול

מבחן-t, מרווחי-סמך, p-value — ראה פרקים 6–7 ב-סטטיסטיקה למתקדמים. המסגרת זהה; כאן הגדלים מחושבים מרגרסיה ולא ממדגם-ממוצע.