پیش‌نویس:مستقل شرطی

در نظریه احتمال ، استقلال شرطی شرایطی را توصیف می‌کند که در آن یک مشاهده در هنگام ارزیابی قطعیت یک فرضیه بی‌ربط یا اضافی است. استقلال شرطی معمولاً بر حسب احتمال شرطی فرمولاسیون می شود، به عنوان یک مورد خاص که در آن احتمال رخداد یک رویداد با توجه به یک مشاهده غیر اطلاعاتی برابر با احتمال رخداد بدون آن مشاهده است. اگر $A$ رخداد مورد نظر ما باشد و $B$ و $C$ مشاهدات هستند، استقلال مشروط را می توان به عنوان یک برابری بیان کرد:

$P(A|B,C)=P(A|C)$

که $P(A|B,C)$ احتمال $A$ با توجه به هر دو مشاهده $B$ و $C$ است . از آنجایی که احتمال $A$ به شرط $C$ همان احتمال است $A$ با توجه به هر دو مشاهده $B$ و $C$ است ، این برابری بیانگر آن است $B$ هیچ کمکی به قطعیت $A$ نمی کند. در این مورد، گفته می شود که $A$ و $B$ مشروط به C مستقل هستند، به صورت نمادین نوشته شده است: $(A\perp \!\!\!\perp B|C)$ .

مفهوم استقلال شرطی برای نظریه‌های استنتاج آماری مبتنی بر گراف ضروری است، زیرا یک رابطه ریاضی بین مجموعه‌ای از گزاره‌های شرطی و یک گرافوئید برقرار می‌کند .

استقلال شرطی رویدادها

اجازه دهید $A$ ، $B$ ، و $C$ رویداد هایما باشد . گفته می شود که A و B مشروط به C مستقل هستند اگر و تنها اگر $P(C)>0$ و:

$P(A\mid B,C)=P(A\mid C)$

این ویژگی اغلب نوشته می شود: $(A\perp \!\!\!\perp B\mid C)$ .

به طور معادل، استقلال شرطی ممکن است به صورت زیر بیان شود:

$P(A,B|C)=P(A|C)P(B|C)$

جایی که $P(A,B|C)$ احتمال مشترک است $A$ و $B$ به شرط $C$ است. این فرمول جایگزین بیان می کند که $A$ به شرط C و $B$ به شرط C رویدادهای مستقل هستند .

اثبات تعریف معادل ارائه شده

$P(A,B\mid C)=P(A\mid C)P(B\mid C)$

${\frac {P(A,B,C)}{P(C)}}=\left({\frac {P(A,C)}{P(C)}}\right)\left({\frac {P(B,C)}{P(C)}}\right)$     (تعریف احتمال شرطی )

$P(A,B,C)={\frac {P(A,C)P(B,C)}{P(C)}}$     ($P(C)$ را در هر دو طرف ضرب کنید)

${\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,C)}{P(C)}}$     ($P(B,C)$ را در هر دو طرف تقسیم کنید )

$P(A\mid B,C)=P(A\mid C)$     (تعریف احتمال شرطی) $\therefore$

جعبه های رنگی

هر سلول نشان دهنده یک نتیجه ممکن است. حوادث $\color {red}R$ ، $\color {blue}B$ و $\color {gold}Y$ به ترتیب با نواحی سایه دار red ، blue و yellow نشان داده می شوند. همپوشانی بین رویدادها $\color {red}R$ و $\color {blue}B$ purple سایه دار شده است.

احتمالات این رویدادها نسبت به کل مساحت، مناطق سایه دار هستند. در هر دو مثال $\color {red}R$ و $\color {blue}B$ به طور مشروط مستقل داده شده اند $\color {gold}Y$ زیرا:

$\Pr({\color {red}R},{\color {blue}B}\mid {\color {gold}Y})=\Pr({\color {red}R}\mid {\color {gold}Y})\Pr({\color {blue}B}\mid {\color {gold}Y})$

اما به شرط $\left[{\text{not }}{\color {gold}Y}\right]$ مستقل نیستند زیرا:

$\Pr({\color {red}R},{\color {blue}B}\mid {\text{not }}{\color {gold}Y})\not =\Pr({\color {red}R}\mid {\text{not }}{\color {gold}Y})\Pr({\color {blue}B}\mid {\text{not }}{\color {gold}Y})$

آب و هوا و تاخیر

فرض کنید دو رویداد A و B این باشند که دو نفر به موقع برای شام به خانه برسند و سومین رویداد درنوردید شهر توسط یک طوفان برفی باشد. در حالی که هر دو فرد در صورت وقوع طوفان به احتمال کمتری به موقع برای شام به خانه میرسند، این دو رویداد (A و B) همچنان مستقل از یکدیگر خواهند بود. یعنی دانستن اینکه اولی دیر رسیده است به شما نمی گوید که آیا فرد دیگر دیر خواهد رسید یا نه. البته در اینجا فرض شده است آنها در محله های مختلف زندگی کنند، مسافت های مختلفی را طی کنند و از روش های مختلف حمل و نقل استفاده کنند و اگر بدانیم آنها در یک محله زندگی می کنند، از حمل و نقل یکسان استفاده می کنند و در یک مکان کار می کنند، آنگاه این دو رویداد به صورت شرطی مستقل نیستند.

ریختن تاس

استقلال شرطی به ماهیت رویداد سوم بستگی دارد. اگر دو تاس بیندازید، ممکن است فرض شود که دو تاس مستقل از یکدیگر رفتار می کنند. با نگاه کردن به نتایج یک تاس نمی توانید در مورد نتیجه دومی صحبت کنید. (یعنی دو تاس مستقل هستند. ) با این حال، اگر نتیجه اولین تاس 3 باشد، و شخصی در مورد رویداد سوم به شما بگوید - که مجموع دو نتیجه زوج است - در این صورت این واحد اطلاعات اضافی گزینه‌های نتیجه دوم را به یک عدد فرد محدود می‌کند. به عبارت دیگر، دو رویداد می توانند مستقل باشند، اما به طور مشروط مستقل نیستند.

قد و دایره لغات

قد و دایره لغات وابسته هستند زیرا افراد بسیار کوچک معمولاً کودک هستند و به خاطر واژگان اولیه خود شناخته می شوند. اما دانستن اینکه دو نفر 19 ساله هستند (یعنی مشروط به سن) دلیلی وجود ندارد که فکر کنیم دایره لغات یک نفر بزرگتر است اگر به ما گفته شود قد آنها بلندتر است.

استقلال شرطی متغیرهای تصادفی

دو متغیر تصادفی $X$ و $Y$ با توجه به سومین متغیر تصادفی گسسته $Z$ ، به صورت شرطی مستقل هستند اگر و تنها اگر آنها در توزیع احتمال شرطی خود به شرط $Z$ مستقل باشند. به این معنا که، $X$ و $Y$ به شرط $Z$ مستقل هستند اگر و فقط اگر، با توجه به هر مقدار از $Z$ ، توزیع احتمال $X$ برای همه مقادیر $Y$ و توزیع احتمال $Y$ برای همه مقادیر $X$ باشند. یعنی:

$(X\perp \!\!\!\perp Y)\mid Z\quad \iff \quad F_{X,Y\,\mid \,Z\,=\,z}(x,y)=F_{X\,\mid \,Z\,=\,z}(x)\cdot F_{Y\,\mid \,Z\,=\,z}(y)\quad {\text{for all }}x,y,z$

(Eq.2)

جایی که $F_{X,Y\,\mid \,Z\,=\,z}(x,y)=\Pr(X\leq x,Y\leq y\mid Z=z)$ تابع توزیع تجمعی $X$ و $Y$ به شرط $Z$ است.

دو رویداد $R$ و $B$ با توجه به جبر σ $\Sigma$ به صورت شرطی مستقل هستند اگر

$\Pr(R,B\mid \Sigma )=\Pr(R\mid \Sigma )\Pr(B\mid \Sigma ){\text{ a.s.}}$

جایی که $\Pr(A\mid \Sigma )$ نشان دهنده انتظار مشروط تابع شاخص رویداد است $A$ ، $\chi _{A}$ ، با توجه به جبر سیگما $\Sigma$ . به این معنا که،

$\Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].$

دو متغیر تصادفی $X$ و $Y$ با توجه به جبر σ یا $\Sigma$ به صورت شرطی مستقل هستند اگر معادله بالا برای به ازای هر $R$ که در $\sigma (X)$ و $B$ که در $\sigma (Y)$ صدق کند.

دو متغیر تصادفی $X$ و $Y$ با توجه به یک متغیر تصادفی، مشروط به $W$ مستقل هستند اگر آنها به شرط (W)σ مستقل باشند که (W)σ جبر σ تولید شده توسط W است. یعنی:

$X\perp \!\!\!\perp Y\mid W$ یا $X\perp Y\mid W$

این خوانده می شود " $X$ مستقل از $Y$ است به شرط $W$ "؛ شرطی شدن برای کل رویداد به صورت زیر اعمال می شود: "( $X$ مستقل از $Y$ ) به شرط $W$ ".

$(X\perp \!\!\!\perp Y)\mid W$

اگر $W$ مجموعه ای از مقادیر قابل شمارش را فرض شود، این معادل استقلال شرطی X و Y برای رویدادهای به شکل $[W=w]$ است. استقلال شرطی بیش از دو رویداد یا بیش از دو متغیر تصادفی به طور مشابه تعریف می شود.

دو مثال زیر این را نشان می دهد $X\perp \!\!\!\perp Y$ نه دلالت دارد و نه به وسیله $(X\perp \!\!\!\perp Y)\mid W$ . اول، فرض کنید $W$ با احتمال 0.5 برار 0 و در غیر این صورت 1 است. زمانی که W = 0 است $X$ و $Y$ را دو رویداد مستقل فرض کنید که هر کدام دارای مقدار 0 با احتمال 0.99 و در غیر این صورت مقدار 1 هستند. زمانی $W=1$ ، $X$ و $Y$ دوباره مستقل هستند، اما این بار مقدار 1 را با احتمال 0.99 می گیرند. پس $(X\perp \!\!\!\perp Y)\mid W$ برقرار است. ولی $X$ و $Y$ وابسته هستند، زیرا Pr( X = 0) < Pr( X = 0| Y = 0). این به این دلیل است که Pr( X = 0) = 0.5، اما اگر Y = 0 پس به احتمال بسیار زیاد W = 0 و بنابراین X = 0 است و میرسیم به Pr( X = 0| Y = 0) > 0.5.

برای مثال دوم، فرض کنید $X\perp \!\!\!\perp Y$ ، هر کدام مقادیر 0 و 1 را با احتمال 0.5 می گیرند. اجازه دهید $W$ محصول $X\cdot Y$ باشد. پس از آن زمانی که $W=0$ ، Pr( X = 0) = 2/3، اما Pr( X = 0| Y = 0) = 1/2، بنابراین $(X\perp \!\!\!\perp Y)\mid W$ نادرست است این نیز نمونه ای از Explaining Away است. با توجه به آموزش کوین مورفی $X$ و $Y$ ارزش های "مغز" و "ورزشی" را در نظر بگیرید.

استقلال شرطی بردارهای تصادفی

دو بردار تصادفی $\mathbf {X} =(X_{1},\ldots ,X_{l})^{\mathrm {T} }$ و $\mathbf {Y} =(Y_{1},\ldots ,Y_{m})^{\mathrm {T} }$ با توجه به بردار تصادفی سوم $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }$ ، به صورت شرطی مستقل هستند اگر و فقط در صورتی که آنها در توزیع تجمعی مشروط به $\mathbf {Z}$ خود مستقل باشند.

جایی که $\mathbf {x} =(x_{1},\ldots ,x_{l})^{\mathrm {T} }$ ، $\mathbf {y} =(y_{1},\ldots ,y_{m})^{\mathrm {T} }$ و $\mathbf {z} =(z_{1},\ldots ,z_{n})^{\mathrm {T} }$ و توزیع های تجمعی مشروط به صورت زیر تعریف می شوند.

${\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}$

موارد استفاده در استنتاج بیزی

فرض کنید p نسبت رأی دهندگانی باشد که در رفراندوم پیش روی «آری» خواهند داد. در انجام یک نظرسنجی ، n رای دهنده را به طور تصادفی از بین جمعیت انتخاب می شوند.X _i میتواد 0 یا 1 باشد و نشان میدهد آیا رای دهنده iام رای "بله" میدهد یا نه.

در یک رویکرد بیزی به استنتاج آماری، یک توزیع احتمال را به p اختصاص می‌دهیم، و احتمالات را به‌عنوان درجاتی از اعتقاد به این که p در هر بازه‌ای است تفسیر کنیم. که یک احتمال به آن اختصاص داده شده است. در آن مدل، متغیرهای تصادفی X ₁ ، …، X _n مستقل نیستند ، اما با توجه به مقدار p به صورت شرطی مستقل هستند. به طور خاص، اگر تعداد زیادی از X ها برابر با 1 مشاهده شود، این به معنای احتمال شرطی بالا است، با توجه به آن مشاهده، که p نزدیک به 1 است، و بنابراین احتمال شرطی بالا، با توجه به آن مشاهده، که X بعدی که باید مشاهده شود برابر با 1 خواهد بود.

قوانین استقلال مشروط

مجموعه ای از قواعد حاکم بر بیانیه های استقلال مشروط از تعریف اصلی مشتق شده است.

این قواعد توسط پرل و پاز "Axioms Graphoid " نامیده شدند زیرا در گراف ها وجود دارند، جایی که $X\perp \!\!\!\perp A\mid B$ به این معنا تفسیر می شود: "همه مسیرها از X تا A توسط مجموعه B قطع می شوند ".

تقارن

$X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X$

تجزیه

$X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}$

اثبات

• $p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)$    (معنی $X\perp \!\!\!\perp A,B$ )
• $\int _{B}p_{X,A,B}(x,a,b)\,db=\int _{B}p_{X}(x)p_{A,B}(a,b)\,db$    (متغیر B را با ادغام کردن آن نادیده بگیرید)
• $p_{X,A}(x,a)=p_{X}(x)p_{A}(a)$    

اثبات

اتحادیه ضعیف

$X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}$

اثبات

• بر اساس فرض، $\Pr(X)=\Pr(X\mid A,B)$ .
• به دلیل خاصیت تجزیه $X\perp \!\!\!\perp B$ ، $\Pr(X)=\Pr(X\mid B)$ .
• از ترکیب دو برابری فوق به دست می آید $\Pr(X\mid B)=\Pr(X\mid A,B)$ ، که برقرار می کند $X\perp \!\!\!\perp A\mid B$ .

شرط دوم را می توان به همین ترتیب اثبات کرد.

اختصار

$\left.{\begin{aligned}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp A,B$

اثبات

این خاصیت را می توان با توجه ثابت کرد $\Pr(X\mid A,B)=\Pr(X\mid B)=\Pr(X)$ ، که هر برابری آن توسط $X\perp \!\!\!\perp A\mid B$ و $X\perp \!\!\!\perp B$ ، به ترتیب.

تقاطع

برای توزیع‌های احتمال کاملاً مثبت، موارد زیر نیز صادق است:

$\left.{\begin{aligned}X\perp \!\!\!\perp Y\mid Z,W\\X\perp \!\!\!\perp W\mid Z,Y\end{aligned}}\right\}{\text{ and }}\quad \Rightarrow \quad X\perp \!\!\!\perp W,Y\mid Z$

با فرض:

$P(X|Z,W,Y)=P(X|Z,W)\land P(X|Z,W,Y)=P(X|Z,Y)\implies P(X|Z,Y)=P(X|Z,W)$

با استفاده از این برابری، همراه با قانون احتمال کل در $P(X|Z)$ اعمال می شود :

${\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}$

از آنجا که $P(X|Z,W,Y)=P(X|Z,Y)$ و $P(X|Z,Y)=P(X|Z)$ ، نتیجه می شود که $P(X|Z,W,Y)=P(X|Z)\iff X\perp \!\!\!\perp Y,W|Z$ .

نکته فنی: از آنجایی که این مفاهیم برای هر فضای احتمالی صدق می کنند، اگر کسی یک جهان فرعی را با شرطی کردن همه چیز بر روی متغیر دیگری در نظر بگیرد، همچنان پابرجا خواهد بود. ک . مثلا، $X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X$ همچنین به این معنی است که $X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K$ .

همچنین ببینید

• گرافوئید
• وابستگی مشروط
• قضیه دی فینتی
• انتظار مشروط

 

لینک های خارجی

پرونده‌های رسانه‌ای مربوط به مستقل شرطی در ویکی‌انبار