תכונות האומדים וההנחות הקלאסיות

הקדמה

בפרק זה נלמד על:

( 1) תכונות האומדים

( 2) ההנחות הנדרשות כדי שתכונות האומדים יתקיימו שני נושאים אלה בלתי תלויים בפרקים האחרים שבספר, ואפשר ללמוד את הספר גם בלי להעמיק בפרק זה. ואכן, מוסדות אקדמיים שונים לומדים נושאים אלה ברמות עומק שונות.

תכונות האומדים

השיטה שבה תוכנת אקסל מחשבת את הערכים של \(\hat\alpha\) ו-\(\hat\beta\) נקראת שיטת הריבועים הפחותים. החישוב נעשה תוך שימוש בנוסחאות שפותחו ע"י מתמטיקאים. הנוסחאות עצמן נקראות אומדים, והערכים של \(\hat\alpha\) ו-\(\hat\beta\) המחושבים עפ"י הנוסחאות האלה מהמדגם הספציפי נקראים אומדנים. האומדים לפי שיטת הריבועים הפחותים נקראים אומדי הריבועים הפחותים (אר"פ) או אומדי OLS (ראשי תיבות של Ordinary Least Squares). עבור כל מדגם נשתמש באותה נוסחא כדי לחשב את \(\hat\alpha\) ו-\(\hat\beta\). כלומר, האומדים לא משתנים ממדגם למדגם (הנוסחאות לא תלויות במדגם). האומדנים, לעומת זאת, עשויים להשתנות ממדגם למדגם. כלומר, האומדים מניבים ערכים שהם משתנים מקריים כי האומדנים המחושבים לפיהם הם תלויי מדגם. כל מדגם יתן ערך אחר. לאומדי הריבועים הפחותים שתי תכונות הנחשבות טובות מבחינה סטטיסטית: (1) הם חסרי הטיה; (2) שונותם קטנה יחסית לאומדים בשיטות אחרות. כדי להסביר שתי תכונות אלה נתבונן במודל \(Y=\alpha+\beta X+u\). היינו רוצים לדעת את \(\alpha\) ואת \(\beta\), אבל לא נוכל לדעת אותם אלא רק לאמוד אותם, כלומר לחשב את \(\hat\alpha\) ואת \(\hat\beta\).

אומדי הריבועים הפחותים הם חסרי הטיה. אם נשתמש באומדי הריבועים הפחותים כדי לחשב את \(\hat\alpha\), אזי הסיכוי ש-\(\hat\alpha\) שנקבל יהיה גדול מ-\(\alpha\) האמיתי זהה לסיכוי שהוא יהיה קטן ממנו. במילים אחרות: מרכז פעמון ההתפלגות של \(\hat\alpha\) נמצא ב-\(\alpha\) האמיתי. אומדי הריבועים הפחותים הם בעלי שונות קטנה יחסית. השונות של אומדי הריבועים הפחותים היא קטנה יחסית. הדבר גורם לכך שהאומדנים המתקבלים במדגמים שונים יהיו מפוזרים ברובם הגדול באזור קטן על ציר המספרים. נדגים את שתי התכונות האלה בתרשימים, ונראה מדוע הן נחשבות תכונות טובות.

הדגמת התכונות בתרשימים

אם אומד הוא גם חסר הטיה וגם בעל שונות קטנה, אז בסיכוי גבוה האומדן המתקבל ממנו יהיה מדוייק יחסית. למשל, נניח כי \(\alpha=3\) והאומד שבו אנו משתמשים כדי לחשב את \(\hat\alpha\) הוא אומד חסר הטיה עם שונות נמוכה. התרשים ממחיש את הדבר: התפלגות \(\hat\alpha\). לפי התרשים, בגלל שהשונות קטנה, ב-95% מהמקרים \(\hat\alpha\) שיתקבל יהיה בין 2.9 לבין 3.1, ואם הערך האמיתי הוא 3, הרי שהערך הנאמד הוא לא רחוק ממנו והוא משקף אותו בצורה טובה. נתבונן כעת במקרה שבו האומד מוטה (לא חסר הטיה), למשל, נניח שמרכז ההתפלגות נמצא ב-3.5 (ולא ב-3) והשונות היא כמו בתרשים הקודם.

התפלגות \(\hat\alpha\). לפי התרשים, ב-95% מהמקרים \(\hat\alpha\) שיתקבל יהיה בין 3.4 לבין 3.6. מכיוון שהערך האמיתי הוא 3, הרי שהערך הנאמד הוא רחוק מהערך האמיתי ואיננו משקף אותו בצורה טובה. נתבונן במקרה שבו האומד חסר הטיה אך בעל שונות גדולה. התפלגות \(\hat\alpha\). לפי התרשים, ב-95% מהמקרים \(\hat\alpha\) שיתקבל יהיה בין 0.5 לבין 5.5. מכיוון שהערך האמיתי הוא 3, הרי שהערך הנאמד הוא רחוק מהערך האמיתי ואיננו משקף אותו בצורה טובה. לסיכום: אומדי הריבועים הפחותים הם חסרי הטיה עם שונות קטנה (כמו בתרשים הראשון), ולכן האומדנים הנובעים מהם (\(\hat\alpha\) ו-\(\hat\beta\)) משקפים באופן מדוייק יחסית את הערכים האמיתיים (\(\alpha\) ו-\(\beta\)).

ההנחות הקלאסיות

שתי התכונות האלה (חוסר הטיה ושונות קטנה יחסית) של האומדים מתקיימות רק אם מתקיימות 5 הנחות. ההנחות הללו נקראות ההנחות הקלאסיות: ( 1) המשתנים המסבירים אינם משתנים מקריים. ( 2) בכל אחת מהתצפיות התוחלת של u היא.0 ( 3) בכל אחת מהתצפיות השונות של u היא זהה (מסומנת \(\sigma_u^2\)). (4) אין מתאם בין – u ים של תצפיות שונות. ( 5) בכל אחת מהתצפיות התפלגות u היא נורמלית. הערה: הנחה ( 5) איננה הכרחית לקיום חוסר ההטיה והשונות הקטנה של האומדים, אך בלעדיה לא היינו יכולים לצייר את התרשימים שלעיל שהם בצורת העקום הנורמלי. המשתנים המסבירים אינם משתנים מקריים (הנחה 1) בניסוי על ערוגות החצילים שתואר בפרקים הקודמים, כמות המים שבה הושקתה כל ערוגה ( )X לא היתה משתנה מקרי, כיוון שהיה ידוע מראש כמה מים מקבלת כל ערוגה. החוקר היה יכול לעשות ניסוי אחר: במקום לרכז את כל הערוגות בחממות הניסויים שלו ולהשקות אותן כרצונו, הוא היה יכול לפזר את ערוגותיו ב-20 מקומות שונים בארץ, מדן ועד אילת, ליד כל ערוגה להניח מד גשם, ולהניח לחצילים לצמוח ממי הגשמים בלבד. גם בניסוי הזה ניתן לדעת את כמות המים שקיבלה כל ערוגה ואת משקל החצילים וכך לאמוד את הקשר שבין כמות המים למשקל החצילים, אבל בניסוי זה כמות המים )המשתנה המסביר( היא משתנה מקרי, כי כמות הגשם איננה ידועה מראש. בכל אחת מהתצפיות התפלגות u היא נורמלית (הנחה; 5) בכל אחת מהתצפיות התוחלת של u היא ( 0 הנחה; 2) בכל אחת מהתצפיות השונות של u היא זהה (הנחה.3) ההתפלגות של הסטיות האקראיות מהקו ( ) u היא זהה בכל תצפית ותצפית, והיא מקבלת את הצורה של העקום הנורמלי ("הפעמון"), כאשר במרכז הפעמון נמצא הערך.0 באופן זה הערך של המשתנה המוסבר מתפלג בצורה של העקום, כשהסיכוי ש-u יהיה שלילי הוא,50%והסיכוי ש-u יהיה חיובי גם הוא.50%

הפיזור אף הוא זהה בין התצפיות. הוא יכול להיות קטן כמו בתרשים הבא: כאשר הפיזור של u קטן, אזי בכל אחת מהתצפיות u מקבל בסיכוי גבוה ערכים קרובים ל.0 -במקרה זה התצפיות קרובות לקו הרגרסיה. הפיזור יכול להיות גם גדול כמו בתרשים הבא: כאשר הפיזור של u גדול, אזי בכל אחת מהתצפיות u יכול לקבל בסיכוי גבוה ערכים רחוקים מ.0 -במקרה זה יהיו תצפיות רחוקות מקו הרגרסיה.

התרשים הבא ממחיש מצב שבו השונות איננה קבועה (הפרה של הנחה: 3) יש אזור שבו השונות קטנה (התצפיות מפוזרות בקרבת הקו) ויש אזור שבו השונות גדולה (התצפיות רחוקות מהקו).

אין מתאם בין – u ים של תצפיות שונות (הנחה 4) להנחה זו יש משמעות עבור מדגמים שבהם ניתן לסדר את התצפיות, בעיקר נתונים המסודרים לפי הזמנים שאליהם הם שייכים. למשל, אם נרצה לבדוק איך מתפתח התוצר הלאומי בישראל כפונקציה של הזמן, נוכל לאסוף נתונים המסודרים לפי שנים. להלן נתונים של הלשכה המרכזית לסטטיסטיקה על התוצר הלאומי הגולמי בישראל משנת 1950 ועד שנת ( 1995 במליוני ש"ח במחירי.1995) תוצר מקומי גולמי שנה תוצר מקומי גולמי שנה הנתונים שבטבלה מוצגים בגרף שלהלן (נקודות בכחול), כמו כן מופיע (בורוד) קו הרגרסיה המתאים. כמו בכל קו רגרסיה, חלק מהתצפיות מופיעות מעל לקו (ה-u חיובי) וחלק מתחת לקו (ה-u שלילי).אך בגרף שלהלן נקודות שמעל לקו נמצאות בסמיכות זו לזו ונקודות שמתחת לקו נמצאות בסמיכות זו לזו. כלומר, אם u של תצפית מסויימת הוא חיובי, אזי ה-u של התצפית הסמוכה יטה להיות חיובי אף הוא, ואם u של תצפית מסויימת הוא שלילי, אזי ה-u של התצפית הסמוכה יטה להיות שלילי אף הוא. במקרה כזה אנו אומרים כי יש מתאם בין ה- u -ים, והנחה ( 4) לא מתקיימת.