רגרסיה ליניארית

רגרסיה ליניארית היא שיטה מתמטית למציאת הפרמטרים של הקשר בין משתנה בלתי תלוי X למשתנה תלוי Y, בהנחה שהקשר ביניהם ליניארי, כלומר מהצורה $\ Y=aX+b$.

השיטה משמשת לניתוח מדגמים סטטיסטיים. נוסחת הרגרסיה הליניארית מחשבת את הקו הישר שעובר דרך הנקודות שבמדגם. במצב של קשר ישיר מדויק כל הנקודות במדגם יימצאו על הקו עצמו. במציאות גורמים נוספים משפיעים על המדגם והנקודות לרוב מפוזרות מסביב לקו. הקו מחושב בצורה כזאת שסכום ריבועי המרחקים של הנקודות מהקו הוא הקטן ביותר. רגרסיה ליניארית מרובה מחשבת קשר בין מספר משתנים בלתי תלויים יחד, למשתנה תלוי אחד.

רגרסיה ליניארית עם משתנה מסביר יחיד

המקרה הפשוט ביותר הוא זה שבו קיימים שני משתנים: משתנה בלתי תלוי X שהוא המשתנה המסביר, ומשתנה תלוי Y שהוא המשתנה המוסבר. לדוגמה, אפשר לנסות להסביר ולנבא באמצעות המודל את גובהו של עץ תפוחים (Y, במטרים), על פי משקלו של הזרע שממנו הוא צומח (X, בגרמים).

בבסיס השיטה עומדת ההנחה כי המודל המסביר את הקשר בין המשתנים הוא מודל ליניארי, כלומר, שמשוואה מסוג $\ Y=aX+b+error$ תתאר נכונה את הקשר. ליתר דיוק, מניחים שבמדגם הכולל n דגימות $\ (X_{1},Y_{1}),\dots ,(X_{n},Y_{n})$, מתקיים הקשר $\ Y_{i}=aX_{i}+b+\epsilon _{i}$, כאשר a ו-b הם פרמטרים קבועים (שאינם ידועים), ואילו גורמי השגיאה $\ \epsilon _{1},\dots ,\epsilon _{n}$ הם משתנים בלתי תלויים שווי התפלגות, שהתוחלת שלה 0, והשונות שלה, $\sigma ^{2}$, קבועה (אבל אולי בלתי ידועה). לעיתים רבות מניחים גם כי ההתפלגות של גורמי השגיאה היא נורמלית.

המטרה הראשונה של הרגרסיה הליניארית היא לסייע באמידת Y, כאשר X ידוע. לדוגמה, אם ידוע שגובהם הממוצע של עצי תפוח הוא 6 מטרים, אז ההערכה הטובה ביותר שאפשר לתת לגובהו העתידי של עץ שטרם צמח, היא (מן הסתם) 6 מטרים. לעומת זאת, אם אכן קיים קשר ליניארי בין משקל הזרע לבין גובה העץ, אפשר לנסות להעריך את מקדמי הקשר באמצעות מדגם גדול מספיק. אם שיטת הרגרסיה מנבאת את הקשר $\ Y=2X+4$, פירושו של דבר שהשתיל שנבט מזרע במשקל 1.5 גרם יצמח לגובה 7 מטרים - ההערכה משתפרת, באמצעות ניצול המידע הנוסף שבמשתנה המסביר X.

הקו $\ y={\hat {a}}x+{\hat {b}}$ תמיד עובר דרך נקודת הממוצעים

את ערכי הפרמטרים a ו-b אומדים, מתוך המדגם, באמצעות שיטת הריבועים הפחותים: מחפשים את המספרים $\ {\hat {a}},{\hat {b}}$ שעבורם סכום הריבועים $\ \sum _{i=1}^{n}(Y_{i}-({\hat {a}}X_{i}+{\hat {b}}))^{2}$ הוא הקטן ביותר. (מן ההנחה שהשגיאה מתפלגת נורמלית, נובע שמספרים אלה מהווים אומד נראות מקסימלית של $a$ ו-$b$). לקו המתקבל מן האומדים יש תכונה שימושית - הוא תמיד עובר דרך נקודת הממוצעים $\ ({\bar {X}},{\bar {Y}})$, כלומר, ${\hat {a}}{\bar {X}}+{\hat {b}}={\bar {Y}}$.

חישוב הפרמטרים היסודיים של המדגם (לרבות סטיות התקן של X ושל Y) מאפשר גם לבדוק השערות סטטיסטיות על a ו-b. לדוגמה, אפשר לבדוק את ההשערה $\ a=0$, שממנה נובע כי Y אינו תלוי (ליניארית) ב-X. אמנם בכל מדגם מעשי יופיע קשר מסוים בין X ל-Y, אך התורה של בדיקת השערות מאפשרת לזהות מתי קשר זה הוא מקרי בלבד, ומתי הוא מובהק ואינו מקרי.

רגרסיה מרובה

במקרים רבים מבקשים להסביר משתנה יחיד, Y, באמצעות מספר משתנים מסבירים, $\ X(1),\dots ,X(m)$. לדוגמה, ייתכן שכדי להסביר את גובהו של עץ תפוח, יש להתחשב לא רק במשקל הזרע, אלא גם בכמות המשקעים השנתית במקום שבו הוא גדל, בגובהו של העץ שממנו הגיע הזרע, ובמליחות הקרקע. אם ההשפעה של משתנים אלה על Y היא ליניארית, מודל הרגרסיה יוכל למצוא (כמקודם), את הפרמטרים המגדירים את הקשר הליניארי, ובכך יסייע לשפר את ההערכה של Y עוד יותר.

המודל הבסיסי של הרגרסיה הליניארית גמיש מספיק כדי לאפשר תלות בין המשתנים המסבירים, וניתן לכלול בו גם גורמים שאינם ליניאריים (כמו במודל $\ Y=aX(1)+bX(1)^{2}+cX(2)+dX(1)X(2)+error$). אחד השימושים העיקריים של המודל הוא במדידת הרלוונטיות של משתנה מסביר, באמצעות השוואת המודל הכולל אותו, למודל המסביר את אותה תופעה בלעדיו. הוספת משתנים משפרת את יכולת ההערכה כמעט ללא יוצא מן הכלל, אבל במקרים רבים השיפור הוא אקראי, ואינו נובע מקשר אמיתי בין המשתנים. גורם עיקרי במענה על שאלות מסוג זה מהווה מקדם המתאם המרובה, המסומן $\ R^{2}$, ומתפלג (לאחר תיקון) התפלגות F.

הגדרה פורמלית

תהי $Y:=\{y_{i}\}_{i=1}^{n}$ סדרה בת $n$ איברים של ערכי משתנה $Y$, ו $\bigcup _{j=1}^{k}\{X_{j}\}$ משפחה של קבוצות שאיבריהן הסדרות: $X_{j}:=\{x_{j_{i}}\}_{i=1}^{n},\forall {j=1,2,...,k}$. לכל אינדקס $i$ נגדיר את הווקטור: $(y_{i},x_{1_{i}},x_{2_{i}},...,x_{k_{i}})$.

תחת הנחת הליניאריות נאמר כי רכיבי הווקטור מקיימים את הקשר הליניארי הבא:

$y_{i}=\beta _{1}x_{1_{i}}+\beta _{2}x_{2_{i}}+\cdots +\beta _{k}x_{k_{i}}+\varepsilon _{i},i=1,2,\cdots ,n$

כאשר:

• $\varepsilon _{i}$ הוא משתנה מקרי שערכו הנקודתי נגזר מהפער בין הקשר הליניארי בין ערכי הסדרות $X_{j}$ באינדקס ה-$i$י, ובין ערך הסדרה $Y$ בנקודה זו. משתנה זה נקרא "ההפרעה המקרית", או "השונות המקרית" של המודל ומבטא את השינוי בערכי $Y$, שאינם מוסברים על ידי שינוי בערכי $\mathbf {X} _{1},\dots ,\mathbf {X} _{k}$.
• $\beta _{j}$ הוא המקדם של $x_{j_{i}}$ במשוואה.

המודל הליניארי המלא הוא מערכת של $n$ משוואות ב-$k$ נעלמים, המסומן:

$\mathbf {y=X} \mathbf {\beta +\varepsilon }$

כאשר:

• $\mathbf {y} \in F^{n}$ וקטור $n$-ממדי של ערכי הסדרה $Y$
• $X\in F^{n\times {k}}$ מטריצה מסדר $n\times k$ המבטאת את ההרכבה הבאה:

$\mathbf {X} ={\begin{pmatrix}\mathbf {x_{1}^{T}} \\\mathbf {x_{2}^{T}} \\.\\.\\.\\\mathbf {x_{k}^{T}} \\\end{pmatrix}}={\begin{pmatrix}x_{11}&...&x_{1k}\\x_{21}&...&x_{2k}\\\vdots &\ddots &\vdots \\x_{n1}&...&x_{nk}\\\end{pmatrix}}$

• $\mathbf {\beta ,\varepsilon } \in F^{n}$ וקטורים $n$-ממדיים.

משוואת המודל הליניארי

בהינתן מערכת המשוואות הליניארית: $\mathbf {y=X} \mathbf {\beta +\varepsilon }$, וקטור פתרונות המערכת, $\mathbf {\beta }$, נגדיר העתקה: $P:\mathbb {F} ^{k}\rightarrow \mathbb {F}$ באופן הבא:

$P(\mathbf {x} )=a+\mathbf {\beta } \cdot \mathbf {x}$.

ברדוקציה על הגדרה זו, אנו למעשה מייצרים פולינום $k$- משתני ממעלה 1, שמקדמיו הם פתרונות המערכת, בתוספת גורם קבוע:

$P(x_{1},...,x_{n})=a+\beta _{1}x_{1}+\cdots +\beta _{k}x_{k}$

פולינום זה מאפשר לנו לקבל אומדן לכל ערך של משתנה $y$ בטווח הדגימה, דהיינו: ${\underset {i\in [n]}{\operatorname {min} }}\{y_{i}\}\leq y\leq {\underset {i\in [n]}{\operatorname {max} }}\{y_{i}\}$, בהינתן כל $k$ ערכים שנבחר למשתנים: $x_{1},\dots ,x_{k}$.

משוואת הניבוי של המודל הליניארי

המודל המוצג לעיל הוא תאורטי בלבד, ומניח למעשה כי דגמנו מאוכלוסייה בת $n$ פרטים, את כלל הפרטים. במציאות, דגימה של כלל האוכלוסייה לרוב אינה אפשרית, ועל כן נהוג לבנות את משוואת הניבוי באמצעות אומדים למודל הליניארי של האוכלוסייה. במקרה זה, נחפש וקטור פתרונות $\mathbf {b}$, עבור המשוואה: $\mathbf {y=X} \mathbf {b+\varepsilon }$.

אומדים חסרי הטיה

ערך מורחב – משפט גאוס-מרקוב

מכיוון שהווקטור $\mathbf {b}$ מקיים את השוויון: $\mathbf {y=X} \mathbf {b+\varepsilon }$ ולא את השוויון: $\mathbf {y=X} \mathbf {b}$, בכל מקרה בו $\varepsilon _{i}\neq 0$ נקבל: $P(x_{1_{i}},\dots ,x_{k_{i}})=y\neq y_{i}$, ועל כן נשאף למצוא וקטור $\mathbf {b}$ כך ש: ${\underset {\mathbf {b} }{\operatorname {argmin} }}P(|y_{i}-y|)$.

מכיוון שדגמנו $n$ ערכים של המשתנה $Y$, נדרוש את הדרישה השקולה: ${\underset {\mathbf {b} }{\operatorname {argmin} }}\sum _{i=1}^{N}[y_{i}-P(x_{1_{i}},\dots ,x_{k_{i}})]^{2}$

וקטור שעומד בדרישה זו נקרא אומד ל- $\mathbf {\beta }$ בשיטת הריבועים הפחותים, יקיים את התכונות הבאות:

• אומד ליניארי – וקטור זה הוא פתרון של מערכת משוואות ליניארית
• שונות נגזרת משונות האוכלוסייה – השונות של $\mathbf {b}$ מקיימת: $V(\mathbf {b} )={{\sigma ^{2}} \over {\sum {x_{i}^{2}}}}$
• הנחת נורמליות – אנו מניחים כי $\mathbf {b} \thicksim N(\beta ,{{\sigma ^{2}} \over {\sum {x_{i}^{2}}}})$
• אומד חסר הטיה – עבור $\beta$, וקטור מקדמי המערכת הליניארית התאורטית של האוכלוסייה, תוחלת הווקטור $\mathbf {b}$ תקיים: $E(\mathbf {b} )=\beta$
• הנחת השונות המינימלית – לכל אומד $\mathbf {\widehat {b}} \neq \mathbf {b}$ מתקיים: $V(\mathbf {\widehat {b}} )>V(\mathbf {b} )$

שתי התכונות האחרונות ניתנות להרחבה במודל בו מניחים $n\rightarrow \infty$ ושקולות, בהתאמה, לשתי התכונות הבאות:

• אומד חסר הטיה באופן אסימפטוטי – יקיים: $\lim _{n\to \infty }({E(\mathbf {b} })-\beta )=0$
• עקיבות – אומד חסר הטיה באופן אסימפטוטי המקיים גם: $\lim _{n\rightarrow \infty }V(\mathbf {b} )=0$

תכונות אלו יחדיו, מבטיחות כי הגדלת גודל המדגם עליו מבוססת משוואת האמידה, תקרב אותנו לפרמטרים האמיתיים של האוכלוסייה, דהיינו, אל $\beta$.

ההנחות הקלאסיות

קיומו של אומד חסר הטיה אינו מובטח עבור כל סדרת תצפיות שנבחר, ועל כן עלינו לוודא כי מתקיימות בנוסף ההנחות הבאות:

• תוחלת 0 של ההפרעה המקרית – לכל $\varepsilon _{i}$, נדרוש שיתקיים: $E(\varepsilon _{i})=0$.
• הומוסקדסטיות (הנחת השונות הקבועה) – לכל $\varepsilon _{i}$, נדרוש שיתקיים: $V(\varepsilon _{i})=\sigma ^{2}$, הווה אומר- עבור זוג וקטורים: $(x_{1},\dots ,x_{k})\neq (x'_{1},\dots ,x'_{k})$, שונות ההפרעה המקרית קבועה, וזהה.
• ההפרעה המקרית מתפלגת נורמלית – לכל $\varepsilon _{i}$ מתקיים: $\varepsilon _{i}\sim N(0,\sigma ^{2})$ הנחה זו נובעת ישירות משתי ההנחות הקודמות, אך בגלל חשיבותה הקדשנו לה סעיף נפרד.
• חוסר מתאם סדרתי – אין תלות בין ההפרעות המקריות, דהיינו: $\forall {i\neq j},Cov(\varepsilon _{i},\varepsilon _{j})=0$.
• $\mathbf {X_{j}}$ אינו משתנה מקרי – מהנחה זו משתמע כי אין מתאם בין השונות המקרית למשתנה המסביר, כלומר: $Cov(x_{j_{i}},\varepsilon _{i})=0$.
• איסור מולטיקולינאריות מושלמת – לכל משתנה מסביר $\mathbf {X_{j}}$, נניח כי: $V(\mathbf {X_{j}} )\neq 0$.

אמידה במקרים בהם לא מתקיימות ההנחות הקלאסיות

לא בכל מדגם שנאסוף יתקיימו כלל ההנחות שמנינו לעיל, לרוב בעקבות תכונות של האוכלוסייה ממנה נלקחו התצפיות, או מגבלות באיסוף התצפיות עצמן. במקרים כאלו, לא ניתן להשתמש בשיטת הריבועים הפחותים לאמידת המודל, ונדרש להשתמש בשיטות אמידה אחרות, שמניבות אומדים חסרי הטיה, תחת הנחות מקלות יותר. במציאות, סדרות נתונים לרוב לא יקיימו את כלל ההנחות הקלאסיות, ועל כן לאורך השנים התפתחו שיטות אמידה רבות. את השיטות השונות ניתן לחלק למספר קטגוריות, בהתאם להנחות שהן מתירות להפר:

• אמידה של סדרות עתיות – שיטות המטפלות בסדרות בהן קיים מתאם סדרתי. השיטה הנפוצה, והפשוטה ביותר, לטפל בסדרות נתונים מסוג זה היא באמצעות החלקה מעריכית- התמרה (החלפה) של ערכי הסדרות בהן קיים מתאם סדרתי לערכי הלוגריתם הטבעי של הפרש התצפיות.
• אמידה של סדרות בהן המשתנה המוסבר מקבל ערכים בדידים – במקרים אלו המשתנה המוסבר שלנו איכותני, ולא כמותי, ועל כן התפלגותו תהיה בינומית, ברנולי, או פואסונית. השיטה הנפוצה ביותר להתמודד עם משתנים מסוג זה היא שימוש ברגרסיה ממשפחת LOGIT, בה פתרונות המערכת הליניארית תמיד יקבלו ערכים המתיישבים עם ההסתברות לקבל את ערכי המשתנה המוסבר, בהתפלגויות בדידות.
• אמידה בייזיאנית – נועדה להתמודד עם משתנים מסבירים מקריים. במקרים אלו, האומדים שנקבל לא ינבעו מווקטור פתרונות יחיד, אלא משפחה של התפלגויות פוסטריוריות, המחילות את אי-הוודאות סביב קבלת ערכי המסבירים האפשריים.

שימושים של רגרסיה ליניארית

לרגרסיה ליניארית שימוש נרחב במדעי החיים, מדעי החברה ומדעי ההתנהגות לתיאור קשרים אפשריים בין משתנים. היא נחשבת כאחד מהכלים החשובים שנעשה בהם שימוש בדיסציפלינות הללו.

קו מגמה

קו זה מייצג מגמה, תנועה לטווח ארוך של נתונים על ציר הזמן לאחר התחשבות בגורמים אחרים. הוא אומר האם אוסף נתונים מסוים (לדוגמה תמ"ג, מחירי נפט או מחירי מניה) עלה או ירד לאורך תקופת זמן מסוימת. ניתן לצייר קו מגמה בצורה פשוטה יחסית על ידי מבט בתצפיות, אך ליתר דיוק יש לחשב את מיקום הנקודה והשיפוע על ידי כלים סטטיסטיים כמו רגרסיה ליניארית. בדרך כלל קווי מגמה הם קווים ישרים אולם יש וריאציות המשתמשות בפולינומים מדרגה גבוהה התלויים ברמת הקעירות הרצויה.

לעיתים משמשים קווי מגמה בניתוחים עסקיים כדי להראות שינויים במידע לאורך זמן. יש לכך יתרון של פשטות. קווי מגמה משמשים לרוב כדי לטעון שפעולה או אירוע (כמו אימון או מסע פרסום) גרמו לשינויים שניתנים להבחנה בנקודת זמן. זו טכניקה פשוטה שאינה דורשת קבוצת בקרה, תכנון ניסוי או אנליזה מתוחכמת. למרות זאת, הם סובלים מחוסר אמינות מדעית במקרה ששינויים אחרים יכולים להשפיע על הנתונים.

אפידמיולוגיה

ערך מורחב – אפידמיולוגיה

ראיות מוקדמות המקשרות עישון טבק למוות ולתחלואה הגיעו מניסויים שהופעלו בהם ניתוחים רגרסיביים^{[דרוש מקור]}. במטרה להקטין השפעה של קורלציות עם משתנים אחרים, חוקרים בדרך כלל כוללים מספר משתנים במודל הרגרסיה שלהם, בנוסף למשתנה העיקרי שנחקר. לדוגמה, נניח שיש מודל רגרסיה שבו שיעור העישון של סיגריות הוא משתנה המחקר הבלתי תלוי, והמשתנה התלוי הוא תוחלת חיים, הנמדדת בשנים. חוקרים עלולים לכלול מעמד סוציו-אקונומי כמשתנה בלתי תלוי נוסף, כדי להבטיח שכל שינוי בתוחלת החיים אינו מושפע מגורמים אחרים, כמו: החינוך או ההכנסה. למרות זאת, לעולם אין זה אפשרי לכלול את כל המשתנים המשתלבים בניתוח אמפירי. לדוגמה, גן כלשהו עלול להגדיל תמותה, ובנוסף לגרום לאנשים לעשן יותר. מסיבה זו, ניסויים מבוקרים אקראיים מסוגלים לרוב לספק ראיה משכנעת יותר של קשרי סיבתיות, שניתן להשיג על ידי שימוש באנליזה רגרסיבית של אוסף נתונים. כשניסויים מבוקרים לא אפשריים, ניתן להשתמש בדרכים שונות של אנליזה רגרסיבית, כגון רגרסיית משתני עזר, כדי לנסות להעריך קשרי סיבתיות מתוך אוסף נתונים.

פיננסים

מודל לתמחור נכסי הון (CAPM) משתמש ברגרסיה ליניארית, כמו גם במושג בטא, לניתוח וכימות שיטתיים של הסיכון בהשקעה. הקשר נובע ישירות ממקדם בטא של מודל הרגרסיה הליניארית, שמקשר את תשואת ההשקעה לתשואה מכל הנכסים עם אופי סיכון גבוה.

כלכלה

ערך מורחב – אקונומטריקה

רגרסיה ליניארית היא הכלי האמפירי המרכזי בכלכלה. לדוגמה, הוא משמש לחיזוי הוצאות צריכה, הוצאות השקעה קבועות, השקעה באגירת מלאי, רכישות של יצוא של מדינה, הוצאות על יבוא, הדרישה להחזיק בנכנסים נזילים, ביקוש והיצע לעבודה.

מדעי הסביבה

ברגרסיה ליניארית נעשה שימוש במגוון רחב של יישומים במדעי הסביבה. בקנדה, "תוכנית הבקרה על ההשפעות הסביבתיות" משתמשת בניתוח סטטיסטי של מחקרים של דגים ושל קרקעית הים למדידת ההשפעות של שפכי עיסה טחונה או מתכות על המערכת הימית האקולוגית.

ראו גם

• אקונומטריקה
• רגרסיה מקומית
• שיטת הריבועים הפחותים
• משפט גאוס-מרקוב
• רגרסיה ליניארית פשוטה

קישורים חיצוניים

מדיה וקבצים בנושא רגרסיה ליניארית בוויקישיתוף

• יוסי לוי, הכוכב הנעלם והאמד הכחול: משפט גאוס מרקוב ושיטת הריבועים הפחותים, באתר "נסיכת המדעים"
• DIY Linear Fit – אתר המחשב רגרסיה ליניארית
• רגרסיה ליניארית, באתר MathWorld (באנגלית)