אי-תלות (הסתברות)

בתורת ההסתברות, מאורעות הם בלתי תלויים אם הידיעה על התרחשותו (או אי-התרחשותו) של אחד מהם, אינה משפיעה על ההסתברות להתרחשות המאורע האחר. אחרת, נאמר שהמאורעות תלויים.

באופן דומה, שני משתנים מקריים ייקראו בלתי תלויים, אם הידיעה על ערכו של אחד מהם אינה משפיעה על ההסתברויות לקבלת ערכים במשתנה המקרי השני.

הגדרה

למאורעות

שני מאורעות

שני מאורעות הם בלתי תלויים אם ההסתברות ששניהם יקרו שווה למכפלת ההסתברויות של כל מאורע בנפרד. באופן פורמלי, המאורעות $A$ ו-$B$ בלתי תלויים אם ורק אם $\ \mathbb {P} \{A\cap B\}=\mathbb {P} \{A\}\cdot \mathbb {P} \{B\}$.

לפיכך, אם ${P}\{B\}\neq 0$ אז $\mathbb {P} \{A\}=\mathbb {P} \{A|B\}$, כפי שמתקבל מחוק בייס.

דוגמה:

שני ומיכל רוכשות כרטיסי לוטו וממלאות ניחושים שונים. המאורע 'מיכל זכתה בפרס הראשון' והמאורע 'שני זכתה בפרס הראשון' תלויים, מכיוון שהניחושים שונים, והידיעה על זכייתה של שני הופכת את ההסתברות לזכייתה של מיכל ל-0, כאשר לפני כן ההסתברות הייתה אמנם קטנה אך גדולה ממש מאפס. לעומת זאת, המאורע 'מיכל לא זכתה בפרס הראשון בכל ההגרלות הקודמות' והמאורע 'מיכל תזכה בפרס הראשון בהגרלה הבאה' הם בלתי תלויים, שכן הידיעה על זכייתה של מיכל בהגרלה כלשהי איננה משנה את ההסתברות לזכייה מחודשת.

הערה: כל שני מאורעות זרים הם תלויים (למעט המקרה המנוון שבו $\mathbb {P} \{A\}=0$ או $\mathbb {P} \{B\}=0$) שכן ידיעת קיומו של האחד מבטיחה את אי־קיומו של האחר.

יותר משני מאורעות

קבוצה סופית של $n$ מאורעות $\{A_{i}\}_{i=1}^{n}$ היא בלתי תלויים בזוגות אם כל זוג מאורעות הם בלתי תלויים. כלומר, אם ורק אם לכל זוג אינדקסים שונים $m,k\in \{1,2,\ldots ,n\}$,$$\mathrm {P} (A_{m}\cap A_{k})=\mathrm {P} (A_{m})\mathrm {P} (A_{k})$$קבוצת מאורעות היא בלתי תלויים הדדית אם כל מאורע הוא בלתי תלוי בכל חיתוך של המאורעות האחרים כלומר, אם ורק אם לכל $1\leq k\leq n$ ולכל k אינדקסים$$\mathrm {P} \left(\bigcap _{j=1}^{k}A_{i_{j}}\right)=\prod _{j=1}^{k}\mathrm {P} (A_{i_{j}})$$

כלל זה אינו מהווה תנאי אחד החל רק על המכפלה של כל המאורעות הבודדים; הוא חייב להתקיים גם לכל תתי הקבוצות של המאורעות.

עבור קבוצה של יותר משני מאורעות, אי תלות הדדית היא גם בלתי תלויה בזוגות, מההגדרה. אבל ההפך לא בהכרח מתקיים.

למשתנים מקריים

שני משתנים מקריים

ההגדרה לעיל מתייחסת למאורעות, אך הגדרת התלות מוצגת באופן דומה גם עבור משתנים מקריים. שני משתנים מקריים $X$ ו-$Y$ הם בלתי תלויים אם ורק אם פונקציית ההסתברות המצטברת שלהם מקיימת:

$F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)$

הגדרה זו כוללת הן משתנים מקריים בדידים והן משתנים מקריים רציפים. אם למשתנים המקריים הנתונים קיימת גם פונקציית צפיפות הסתברות, הם בלתי תלויים אם ורק אם מתקיים:

$f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)$

משמעות הביטויים לעיל היא בעלת חשיבות רבה בהסתברות וסטטיסטיקה. כאשר המשתנים תלויים, יש לטפל בפונקציית ההסתברות המשותפת, פונקציה דו-ממדית (או רב-ממדית במקרה הכללי), ואילו כאשר המשתנים בלתי תלויים, ניתן לטפל במקום זאת באוסף פונקציות חד-ממדיות, אותן לרוב קל יותר לשערך.

יותר משני משתנים מקריים

קבוצה סופית של $n$ משתנים מקריים $\{X_{1},\ldots ,X_{n}\}$היא בלתי תלויה הדדית אם ורק אם לכל סדרה של מספרים $\{x_{1},\ldots ,x_{n}\}$ המאורעות $\{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}$ הם בלתי תלויים הדדית. תנאי זה שקול לכך שההתפלגות המשותפת $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})$ מקיימת

$$F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})$$ לכל $x_{1},\ldots ,x_{n}$.

אי תלות בזוגות של קבוצת משתנים מקריים הוא תנאי הכרחי אך לא מספיק לאי תלות הדדית שלהם.

דוגמה:

יהיו $X,Y$ זוג משתנים מקריים בלתי תלויים ושווי התפלגות המקבלים את הערכים $\pm 1$ בהסתברות שווה (התפלגות ראדמאכר). נסמן $Z=X\cdot Y$. ההתפלגות של המשתנה המקרי $Z$ זהה לזו של כל אחד משני המשתנים, שכן הוא מקבל את הערכים $\pm 1$ בהסתברות שווה, וההתפלגות נותרת זהה גם כאשר מתנים באחד המשתנים $X$ או $Y$. כלומר, כל זוג בקבוצת המשתנים $X,Y,Z$ הוא בלתי תלוי. לעומת זאת, השלשה איננה בלתי תלויה, שכן ידיעת ערכיהם של $X$ ו-$Y$ יחד קובעת באופן חד משמעי את ערכו של $Z$.

משתנים מקריים בלתי מתואמים

שני משתנים מקריים $X,Y$ נקראים בלתי מתואמים (או חסרי קורלציה) אם התוחלות שלהם מקיימות $\ \mathbb {E} \{XY\}=\mathbb {E} \{X\}\mathbb {E} \{Y\}$ . במקרים רבים קשה מאוד להוכיח או לבדוק אי־תלות סטטיסטית, שכן נדרשת ידיעה של פונקציית ההסתברות המצטברת במלואה, דבר שאינו בהכרח זמין בהינתן אוסף מדידות מסוים. בנוסף, במקרים רבים המשתנים עשויים להיות תלויים סטטיסטית לפי ההגדרה, אך ייתכן שקיימת במערכת אי־תלות חלשה יותר. במקרים כאלו, ניתן לעיתים לבדוק האם המשתנים בלתי מתואמים ובכך לקבל מושג כלשהו על אופי הקשר בין המשתנים.

דוגמה:

במקרים רבים מתעניינים בשונות של סכום שני משתנים מקריים: $\ {\mbox{Var}}(X+Y)={\mbox{Var}}(X)+{\mbox{Var}}(Y)+2{\mbox{Cov}}(X,Y)$, כאשר ${\mbox{Cov}}(X,Y)$ היא השונות המשותפת של שני המשתנים המקריים. מכיוון שהגדרת השונות המשותפת היא ${\mbox{Cov}}(X,Y)=\mathbb {E} \{XY\}-\mathbb {E} \{X\}\mathbb {E} \{Y\}$, הרי שעבור שני משתנים מקריים בלתי מתואמים נקבל כי שונות הסכום היא סכום השונויות. באופן זה קיבלנו מושג על הקשר בין שני המשתנים, אף על פי שלא הוכחנו אי-תלות סטטיסטית.

ניתן להראות כי אוסף משתנים מקריים בלתי תלויים הם גם בלתי מתואמים, באמצעות אחת ההגדרות לעיל בשילוב עם הגדרת התוחלת והשונות המשותפת. ההפך אינו נכון, כלומר, חוסר קורלציה איננו מעיד על אי-תלות סטטיסטית.

אי־תלות סטטיסטית וחוסר קורלציה עבור משתנים מקריים גאוסיים

שני משתנים מקריים $X,Y$ נקראים משתנים מקריים גאוסיים במשולב (או: במשותף) אם פונקציית הצפיפות המשותפת שלהם גאוסית רב-ממדית. במקרה זה גם כל אחד מהמשתנים יהיה משתנה מקרי גאוסי, וחוסר קורלציה בין המשתנים יעיד על אי-תלות סטטיסטית. כלומר, עבור משתנים אקראיים גאוסיים במשולב, יש שקילות בין אי-תלות סטטיסטית לחוסר קורלציה. ניתן להראות זאת על ידי כתיבת פונקציית הצפיפות באופן ישיר והצבת שונות משותפת מתאימה.

עם זאת, במקרה זה נדרשים המשתנים להיות גאוסיים במשולב, ולא די בכך שנתבונן בשני משתנים אקראיים גאוסיים כלליים, שלהם אין בהכרח צפיפות משותפת גאוסית רב-ממדית.

הערה: ייתכנו מקרים בהם פונקציית הצפיפות אינה קיימת, ובמקרה זה יש להתבונן בפונקציה האפיינית.

דוגמה:

יהי $X$ משתנה מקרי נורמלי סטנדרטי (כלומר, בעל תוחלת אפס ושונות יחידה), ויהי $B$ משתנה מקרי בלתי תלוי ב-$X$ המקבל את הערכים $\pm 1$ בהסתברות שווה. ניתן להראות על ידי בחינת פונקציית ההתפלגות המתאימה כי המשתנה המקרי $Y=BX$ גאוסי ובעל פילוג זהה למשתנה המקרי $X$. כמו כן ניתן לראות כי שני המשתנים הגאוסיים $X,Y$ חסרי קורלציה: $\mathbb {E} \{XY\}=\mathbb {E} \{X\cdot BX\}=\mathbb {E} \{B\}\mathbb {E} \{X^{2}\}=0=\mathbb {E} \{X\}\mathbb {E} \{Y\}$.

כלומר, בידינו שני משתנים גאוסיים וחסרי קורלציה, אך ניתן להראות שהם גם תלויים סטטיסטית, למשל על ידי ההבחנה כי מתקיים $Y^{2}=B^{2}X^{2}=X^{2}\Rightarrow X=\pm Y$, כלומר, בידיעת ערכו של $Y$, המשתנה $X$ מקבל אחד משני הערכים $\pm Y$, בעוד שללא ההתניה מדובר במשתנה מקרי רציף. הדבר אינו מהווה סתירה, שכן אין הם גאוסיים במשולב.

קישורים חיצוניים

• Papoulis, A., & Pillai, S. U. (2002). Probability, random variables, and stochastic processes. Tata McGraw-Hill Education.
• אי-תלות, באתר MathWorld (באנגלית)