توزیع احتمال

در نظریه احتمال و آمار تابع توزیع احتمال بیانگر احتمال هر یک از مقادیر متغیر تصادفی (در مورد متغیر گسسته) یا احتمال قرار گرفتن متغیر در یک بازه مشخص (در مورد متغیر تصادفی پیوسته) میباشد. توزیع تجمعی احتمال یک متغیر تصادفی تابعی است از دامنهٔ آن متغیر بر بازهٔ $[0,1]$. به‌طوری که احتمال رخدادن پیشامدهای با مقدار عددی کمتر از آن را نمایش می‌دهد. و به صورت دقیق به شکل زیر تعریف می‌شود:

$F_{X}(x)=\Pr \left[X\leq x\right]$

بر اساس این که این متغیر گسسته یا پیوسته باشد توزیع گسسته یا پیوسته نام می‌گیرد.

خاصیت‌های تابع توزیع احتمال

1. همواره داریم: $F_{X}(+\infty )=1$ و $F_{X}(-\infty )=0$
2. تابع توزیع تجمعی غیر نزولی ست، یعنی: $x_{1}\leq x_{2}\Rightarrow F_{X}(x_{1})\leq F_{X}(x_{2})$
3. تابع توزیع همواره از راست پیوسته‌است: $\lim _{x\rightarrow a^{+}}F(x)=F(a)$

اگر تابع توزیع تجمعی پیوسته باشد مشتق ان برابر تابع چگالی متغیر مورد بررسی است و اگر تابع توزیع گسسته باشد مشتق ان برابر تابع احتمال متغیر مورد بررسی است.

توزیع احتمال گسسته

پیشینهٔ نظریهٔ احتمال به مطالعات پاسکال بر رفتار تاس‌ها برمی‌گردد

پیشینهٔ نظریهٔ احتمال، به قرن هفدهم میلادی و مطالعات بلیز پاسکال روی اعداد ظاهر شده بر تاس‌ها برمی‌گردد. پس از او لاپلاس، احتمال را به صورت نسبت پیشامدهای مطلوب به کل پیشامدها تعریف کرد. برای مثال احتمال آمدن عدد زوج، هنگام انداختن یک تاس سالم، برابر است با ۳ (یعنی تعداد حالت‌هایی که ممکن است عدد زوج بیاید یا به تعبیر دیگر ۲، ۴ یا ۶ ظاهر شود) بخش بر ۶ (یعنی کل حالت‌هایی که ممکن است با انداختن تاس ظاهر شود یا به تعبیر دیگر آمدن ۱، ۲، ۳، ۴، ۵ یا ۶) که برابر می‌شود با ${3 \over 6}$ یا ${1 \over 2}$.

نظریهٔ احتمال

چند تعریف

برای ادامهٔ بحث، لازم است که ابتدا چند واژه را تعریف کنیم:

آزمایش تصادفی

یک آزمایش که نتیجهٔ آن به هیچ‌وجه قابل پیش‌بینی نباشد یا اصطلاحاً تصادفی باشد؛ مثل انداختن تاس یا سکه.

فضای نمونه

مجموعهٔ کل نتیجه‌هایی که ممکن است از یک آزمایش تصادفی حاصل شود؛ مثلاً در آزمایش انداختن تاس فضای نمونه به صورت $\{1,2,3,4,5,6\}$ است.

پیشامد

به هریک از زیرمجموعه‌های فضای نمونه یک پیشامد می‌گویند؛ مثلاً $\{2,4,6\}$ یک پیشامد در آزمایش انداختن تاس است.

فضای نمونهٔ هم‌شانس

در صورتی که همهٔ اعضای فضای نمونه شانس برابری برای ظاهر شدن داشته باشند یا به عبارت دیگر، شانس تمام اعضا یکسان باشد، این فضای نمونه را هم‌شانس می‌خوانیم. مثلاً آزمایش انداختن تاس سالم در فضای هم‌شانس است.

احتمال در فضای متناهی

اگر فضای نمونهٔ ما هم‌شانس و دارای تعداد اعضای متناهی باشد، برای محاسبهٔ احتمال وقوع یک پیشامد، فرمول لاپلاس را به کار می‌گیریم.

$p={|E| \over |S|}$

یا به عبارت دیگر، احتمال وقوع یک پیشامد برابر است با نسبت اندازهٔ پیشامد به اندازهٔ فضای نمونه. برای مثال اگر آزمایش انداختن تاس سالم را در نظر بگیریم که دارای فضای نمونهٔ هم‌شانس با اندازهٔ متناهی است، با توجه به آنچه پیش‌تر گفته شد، احتمال آمدن عدد ۶، برابر است با اندازه پیشامد (یعنی اندازهٔ $\{6\}$ که ۱ است) بخش بر اندازهٔ فضای نمونه (یعنی اندازهٔ $\{1,2,3,4,5,6\}$ که ۶ است). به این ترتیب احتمال آمدن عدد ۶، برابر با $1 \over 6$ محاسبه می‌شود.

احتمال پیشامدهای مرکب

گاهی می‌خواهیم با داشتن احتمال چند پیشامد، بتوانیم احتمال مجموعهٔ حاصل از اعمال جبر مجموعه‌ها بر آن‌ها را نیز محاسبه کنیم. دو مورد مهم‌تر به شرح زیر است:

• احتمال مکمل یک پیشامد: مکمل یک پیشامد زمانی اتفاق می‌افتد که خود آن پیشامد اتفاق نیفتد. به عبارت دیگر ما می‌خواهیم احتمال رخ ندادن یک پیشامد را حساب کنیم. از آن‌جا که پیشامد زیرمجموعه‌ای از فضای نمونه است، مکمل آن، زیرمجموعه‌ای از فضای نمونه است که اعضای آن در پیشامد مورد نظر ما قرار ندارند. به این ترتیب با توجه به فرمول لاپلاس، رابطهٔ زیر برای محاسبهٔ احتمال مکمل یک پیشامد، با داشتن احتمال خود آن پیشامد به دست می‌آید:

$p({\bar {E}})=1-p(E)$

با توجه به آنچه گفته شد اثبات این رابطه بسیار ساده است.

• احتمال اجتماع دو پیشامد: همان‌طور که از مفهوم اجتماع مجموعه‌ها برمی‌آید، وقوع اجتماع دو پیشامد به معنی آن است که حداقل یکی از این دو پیشامد اتفاق بیفتد. برای محاسبهٔ احتمال اجتماع دو پیشامد، با فرض داشتن احتمال خود آن‌ها و احتمال اشتراک شان، رابطهٔ زیر را داریم:

$p(E\cup F)=p(E)+p(F)-p(E\cap F)$

اثبات این رابطه با دانستن این‌که $|E\cup F|=|E|+|F|-|E\cap F|$ میسر است.

تخصیص احتمال

تا این‌جا بیش‌تر دربارهٔ آزمایش‌ها و فضاهای نمونه‌ای بحث کردیم که هم‌شانس هستند. با این وجود، بسیاری از آزمایش‌ها در فضای‌های هم‌شانس اتفاق نمی‌افتند و در نتیجه برای محاسبهٔ احتمال آن‌ها نمی‌توان به سادگی فرمول لاپلاس را به کار برد.

برای حل این مشکل، راه‌حل تخصیص احتمال را به این ترتیب به کار می‌بریم: به تک‌تک اعضای فضای نمونه احتمالی نسبت می‌دهیم که از دو قانون زیر پیروی کند:

• مقدار هر یک از این احتمال‌ها باید بین صفر و یک باشد؛ به عبارت دیگر برای هر $s\in S$ داشته باشیم:

$0\leq p(s)\leq 1$

• مجموع مقدار احتمال‌های تخصیص‌داده‌شده، برابر ۱ باشد؛ به عبارت دیگر داشته باشیم:

$\sum _{s\in S}p(s)=1$

به تابع احتمال p، تابع توزیع احتمال می‌گوییم. اگر تابع احتمال به هر عضو فضای نمونه، مقدار یکسانی نسبت دهد، آن را توزیع یک‌نواخت می‌خوانیم. روشن است که با توجه به آنچه در این‌جا تعریف کردیم، احتمال وقوع یک پیشامد برابر است با مجموع احتمال اعضایی از فضای نمونه که در آن پیشامد حضور دارند.

احتمال شرطی و استقلال پیشامدها

فرض کنید خانواده‌ای دو فرزند دارد. می‌خواهیم بدانیم اگر فرزند اول پسر باشد، با چه احتمالی فرزند دوم دختر خواهد بود؟ برای حل چنین مسئله‌ای از رابطهٔ احتمال شرطی استفاده می‌کنیم که به شکل زیر است:

$p(E|F)={p(E\cap F) \over p(F)}$

یا به عبارت دیگر احتمال وقوع E، اگر F اتفاق افتاده باشد، برابر است با نسبت احتمال اشتراک E و F به احتمال F.

حال اگر این دو پیشامد از هم مستقل باشند، روشن است که وقوع E ارتباطی با وقوع F نخواهد داشت یا به تعبیر دیگر $p(E|F)$ همان $p(E)$ خواهد بود. به این ترتیب می‌توانیم دو پیشامد E و F را مستقل بدانیم، در صورتی که:

$p(E\cap F)=p(E)p(F)$

توزیع احتمال دوجمله‌ای

یک آزمایش تصادفی بسیار مشهور، موسوم به آزمایش برنولی، به این شکل تعریف می‌شود:

• آزمایشی تصادفی که در هر بار انجام آن تنها یا پیروزی اتفاق می‌افتد یا شکست.

با توجه به این آزمایش، در صورتی که n بار آزمایش برنولی انجام شود، و این آزمایش‌ها از هم مستقل باشند و احتمال پیروزی نیز p باشد، آن‌گاه تابع توزیع احتمال، مشهور به توزیع احتمال دوجمله‌ای خواهیم داشت که به صورت ${n \choose k}p^{k}(1-p)^{n-k}$ است (k تعداد پیروزی‌هاست).

علت این نام‌گذاری، شباهت فوق‌العادهٔ رابطهٔ به‌دست‌آمده با رابطهٔ بسط دوجمله‌ای نیوتن است.

توزیع احتمال هندسی

اگر آزمایش برنولی (که در بخش قبل معرفی شد) آن‌قدر تکرار شود تا پیروزی به دست آید، در این صورت توزیع احتمالی به دست می‌آید که به توزیع احتمال هندسی مشهور است. در این حالت فضای نمونه، تعداد اعضای نامتناهی دارد و هر عضو را می‌شود یک توالی در نظر گرفت. تابع توزیع احتمال در این حالت به شکل زیر است (p احتمال پیروزی و k تعداد دفعات لازم برای تکرار آزمایش است تا پیروزی حاصل شود):

$p(1-p)^{k-1}$

توجه کنید که تعریف این توزیع را می‌توانستیم به این ترتیب انجام دهیم که آن‌قدر آزمایش تکرار شود تا نتیجهٔ شکست به دست آید. اگر تعریف به این شکل باشد، کافی است جای p و 1-p را در رابطهٔ به‌دست‌آمده عوض کنیم.

متغیر تصادفی، امیدریاضی و واریانس

در این بخش به معرفی سه تابع بسیار مهم مرتبط با احتمال می‌پردازیم. این تابع‌ها، کاربردهای وسیعی در نظریهٔ احتمال و مباحث آماری دارند.

متغیر تصادفی

متغیر تصادفی، تابعی است که از فضای نمونه بر اعداد حقیقی تعریف شده‌است؛ یعنی هر عضو از فضای نمونه را به یک عدد حقیقی مربوط می‌کند. متغیر تصادفی را معمولاً با X نشان می‌دهند. (اشتباه نکنید! متغیر تصادفی، نه متغیر است و نه تصادفی! این تنها یک نام‌گذاری است).

مثلاً فرض کنید که خانواده‌ای دو فرزند دارد. به این ترتیب فضای نمونهٔ حالت‌های ممکن برای این جنسیت دو فرزند به صورت {(پ، د) و (د، پ) و (د، د) و (پ، پ)} خواهد بود. حال فرض کنید متغیر تصادفی X قرار است تعداد فرزندان دختر را مشخص کند. به این ترتیب خواهیم داشت:

0=(پ، پ)X

1=(پ، د)X

1=(د، پ)X

2=(د، د)X

همان‌طور که برای یک آزمایش تصادفی، توزیع احتمال تعریف کردیم، می‌توانیم برای متغیر تصادفی نیز تابع توزیع احتمال تعریف کنیم که با (p(X=r نموده می‌شود. مثلاً در مورد همان مثال بالا، تابع توزیع احتمال به این شکل درمی‌آید:

$p(X=0)={1 \over 4}$

$p(X=1)={1 \over 2}$

$p(X=2)={1 \over 4}$

امیدریاضی

امیدریاضی، در حقیقت یک نوع میانگین‌گیری از متغیر تصادفی است. یعنی این‌که اگر یک آزمایش را بی‌نهایت‌بار تکرار کنیم و از مقدارهای متغیر تصادفی مرتبط با نتایج میانگین بگیریم، چه عددی به دست خواهد آمد. تعریف دقیق ریاضی این تابع به صورت زیر است:

$E(X)=\sum _{s\in S}p(s)X(s)$

برای نمونه، اگر همان مثال گفته شده در بخش قبل را در نظر بگیریم، امیدریاضی تعداد دختران یک خانواده با دو فرزند به صورت زیر خواهد بود:

$0\times {1 \over 4}+1\times {1 \over 2}+2\times {1 \over 4}=1$

یکی از مهم‌ترین ویژگی‌های تابع امیدریاضی، خطی بودن آن است؛ یعنی اگر n متغیر تصادفی به صورت $X_{1},\cdots ,X_{n}$ داشته باشیم، تساوی‌های زیر برقرار هستند:

$E(X_{1}+\cdots +X_{n})=E(X_{1})+\cdots +E(X_{n})$

$E(aX_{1}+b)=aE(X_{1})+b$

برای ادامه و تکمیل بحث، لازم است تعریف زیر را انجام دهیم:

• دو متغیر تصادفی X و Y را مستقل می‌خوانیم در صورتی که برای هر $a,b\in \mathbb {R}$ داشته باشیم احتمال X=a و Y=b برابر است با حاصل‌ضرب احتمال X=a در احتمال Y=b.

با توجه به این تعریف، می‌توان ثابت کرد که حکم مهم زیر برقرار است:

• اگر X و Y دو متغیر تصادفی مستقل باشند، آن‌گاه خواهیم داشت (E(XY)=E(X)E(Y.

در بحث پیشین، توزیع احتمال دوجمله‌ای و هندسی را تعریف کردیم. به کمک محاسبات می‌توان نشان داد که امیدریاضی توزیع احتمال دوجمله‌ای برابر $np$ و امیدریاضی توزیع احتمال هندسی برابر $1 \over p$ می‌باشد.

واریانس

واریانس در محاسبات آماری، یک معیار برای سنجش میزان پراکندگی داده‌ها نسبت به میانگین داده‌هاست. ما در این مباحث، امیدریاضی را مشابه میانگین در نظر گرفتیم و به این ترتیب واریانس را چنین تعریف می‌کنیم:

• اگر X متغیر تصادفی روی فضای نمونهٔ S باشد، واریانس X برابر خواهد بود با:

$V(X)=\sum _{s\in S}(X(s)-E(X))^{2}p(s)$

حکم بسیار مهمی که در محاسبات بسیار راه‌گشاست و از تعریف بالا نتیجه می‌شود به قرار زیر است:

• اگر متغیر تصادفی X روی فضای نمونهٔ S تعریف شده باشد، واریانس از رابطهٔ زیر نیز به دست می‌آید:

$V(X)=E(X^{2})-E(X)^{2}$

در این‌جا مقصود از $X^{2}$ این است که مقدارهای متغیر تصادفی را به توان ۲ برسانیم. مثلاً برای محاسبهٔ واریانس متغیر تصادفی تعداد فرزندان دختر در یک خانواده با دو فرزند (که در بخش‌های قبل توزیع احتمال و امیدریاضی آن به دست آمد)، باید به این ترتیب عمل کنیم:

${1 \over 4}(0-1)^{2}+{1 \over 2}(1-1)^{2}+{1 \over 4}(2-1)^{2}={1 \over 2}$

واریانس مجموع چند متغیر تصادفی مستقل را می‌توان برحسب واریانس تک‌تک این متغیرها حساب کرد:

$V(X_{1}+\cdots +X_{n})=Var(X_{1})+\cdots +Var(X_{n})$

تأکید می‌کنیم که این حکم فقط در صورتی قابل استفاده است که متغیرها مستقل باشند.