نظریه برآورد

نظریه برآورد یا نظریه تخمین یا نگره برآورد (Estimation Theory)، شاخه‌ای از دانش آمار است که به برآورد کردن از پارامتر (یا پارامترهایی) برپایه داده‌های اندازه‌گیری شده می‌پردازد. این شاخه از دانش در بسیاری از برنامه‌های کنترلی، ارتباطی، و حیطهٔ پردازش تصویر مطرح می‌شوند. در این نگره، پارامترهای برآورد به صورت متغیر تصادفی مدل‌سازی می‌شوند و خود برپایه تابعی (معمولا شناخته شده) بر داده‌های اندازه‌گیری شده تأثیر می‌گذارند؛ بنابراین، یک برآوردگر یا تخمین‌گر، کوشش می‌کند برآوردی از پارامتر نادانسته برپایه داده‌های اندازه‌گیری شده بدست بدهد.

نمونه

برای نمونه، می‌توان نسبت جمعیتی از رای‌دهندگان را که به یک نامزد ویژه‌ای رأی می‌دهند، برآورد کرد. پس، این نسبت پارامتر برآورد مورد نظر است. این برآورد می‌تواند بر اساس یک نمونه تصادفی کوچک از رای‌دهندگان (به عنوان داده اندازه‌گیری) باشد. اگر چنین داده‌ای در دسترس نباشد، می‌توان احتمال رأی دادن یک رای‌دهنده به یک نامزد خاص را بر پایه برخی ویژگی‌های جمعیتی، مانند سن برآورد کرد.

برای نمونه دیگر، در رادار هدف این است که با پردازش و تحلیل زمان انتقال پژواک‌های دریافت شده از پالس‌های تراگسیل شده، دامنه اجسام (هواپیماها، قایق‌ها و غیره) را پیدا کرد. از آنجا که پالس‌های بازتابیده ناگزیر به نویز الکتریکی آغشته شده‌اند، داده‌های اندازه‌گیری شده مرتبط با آن به صورت یک متغیر تصادفی خواهند بود، بنابراین باید زمان انتقال برآورد شود.

مبانی

برای ایجاد یک تخمین‌گر برای یک مدل، به چندین مورد آماری نیازد داریم. اولین مورد نمونه آماری است: مجموعه‌ای از داده‌ها به تعداد N که از یک متغیر تصادفی گرفته شدند و درون یک بردار ریخته شده‌اند.

$\mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.$

دومین مورد M پارامتر ما هستند که قصد داریم آنها را تخمین بزنیم.

$\mathbf {\theta } ={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},$

سوم، تابع چگالی احتمال پیوسته (pdf) یا همتای گسسته آن، تابع جرم احتمال (pmf)، توزیع زیربنایی که داده‌ها را تولید می‌کند، باید مشروط به مقادیر پارامترها بیان شود:

$p(\mathbf {x} |\mathbf {\theta } ).\,$

همچنین این امکان وجود دارد که خود پارامترها دارای توزیع احتمال باشند (به عنوان مثال، آمار بیزی). سپس لازم است که احتمال بیزی را تعریف کنیم

$\pi (\mathbf {\theta } ).\,$

پس از شکل‌گیری مدل، هدف تخمین زدن پارامترها خواهد بود. که این تخمین هارا با ${\hat {\mathbf {\theta } }}$ با نمایش می‌دهیم. که کلاه روی علامت نشان دهنده این است که دربارهٔ تخمین پارامترها صحبت می‌کنیم نه خود آنها.

یکی از برآوردگرهای رایج، برآوردگر حداقل میانگین مربعات خطا (MMSE) است که از خطای بین پارامترهای برآورد شده و مقدار واقعی پارامترها استفاده می‌کند.

اگر برای خطا داشته باشیم:

$\mathbf {e} ={\hat {\mathbf {\theta } }}-\mathbf {\theta }$

در MMSE سعی می‌شود امید ریاضی مربع مقدار خطای بدست آمده حداقل شود.

برآوردگرها

برآورد درست‌نمایی بیشینه
برآوردگر بیزی
فیلتر وینر
فیلتر کالمن
زنجیره مارکوف مونت کارلو
برآوردگر بی‌بایاس کمینه واریانس
برآوردگر بیشینه‌گر احتمال پسین
برآوردگر کمترین مربعات
روش گشتاورها

مثال

ثابت ناشناخته

سیگنال گسسته دریافتی $x[n]$ را نظر بگیرید. که از N داده مستقل تشکیل شده‌است. این داده‌ها از جمع مقدار ثابت ناشناخته A و مقدار w[n] تشکیل می‌شوند. که واریانس و میانگین w[n] مشخص است و تنها عامل ناشناخته A است.

درنتیجه سیگنال ما به شکل زیر خواهد بود:

$x[n]=A+w[n]\quad n=0,1,\dots ,N-1$

حال سعی داریم به دو روش مقدار A را تخمین بزنیم.

• ${\hat {A}}_{1}=x[0]$
• ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$

می‌دانیم که برای هر دو حالت مقدار میانگین تخمین‌گر با مقدار میانگین A برابر است و تخمین گیر ما نا اریب است.

$\mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A$

$\mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A$

اما اگر به بررسی واریانس بپردازیم تفاوت موجود بین این دو تخمین‌گر را متوجه خواهیم شد.

$\mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}$

$\mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}$

همان‌طور که مشخص است تخمین‌گر دوم همواره واریانس کمتری نسبت به تخمین‌گر اول دارد و تخمین‌گر بهتری خواهد بود زیرا مقادیر حاصل از آن با واریانس کمتری نسبت به مقدار حقیقی A قرار دارند.

مثالی از استفاده از نظریه برآورد

کاربردها

زمینه‌های متعددی نیاز به استفاده از نظریه برآورد دارند. برخی از این زمینه‌ها عبارتند از:

تفسیر آزمایش‌های علمی

پردازش سیگنال

کارآزمایی بالینی

نظرسنجی‌ها

کنترل کیفیت

مخابرات

مدیریت پروژه

مهندسی نرم‌افزار

تئوری کنترل (به ویژه کنترل تطبیقی)

سامانه تشخیص نفوذ شبکه