رگرسیون خطی بیز

رگرسیون خطی بیز

در آمار، رگرسیون خطی بیز یک رویکرد به رگرسیون خطی است که در آن تجزیه و تحلیل آماری در چارچوب استنباط بیزی انجام می‌شود. هنگامی که خطاهای مدل رگرسیون خطی از یک توزیع طبیعی پیروی کند، با در نظر گرفتن یک توزیع پیشین بر روی پارامترهای مدل، پیش‌بینی مدل از یک توزیع پسین که از قانون بیز به‌دست آمده، استفاده می‌کند.

تعریف ریاضی

اگر داده‌ها را با $\mathbf {D} =[(\mathbf {x_{1}} ,y_{1}),\cdots ,(\mathbf {x_{n}} ,y_{n})]$ نمایش دهیم، هدف تخمین خطی متغیر $y$ از متغیر $\mathbf {x}$ است. در رگرسیون خطی استاندارد متغیرِ میانگینِ مشروط $y_{i}$ به شرط بردار $\mathbf {x} _{i}$ به این شکل برای $i=1,\ldots ,n$ به دست می‌آید:

$y_{i}=\mathbf {x} _{i}^{\rm {T}}{\boldsymbol {\beta }}+\varepsilon _{i},$

در اینجا ${\boldsymbol {\beta }}$ و $\mathbf {x} _{i}$ بردارهای $m\times 1$ هستند، و $\varepsilon _{i}$ها متغیرهای تصادفیِ مستقل و به‌طور یکسان توزیع شده‌ای هستند که از توزیع پایین پیروی می‌کنند:

$\varepsilon _{i}\sim {\mathcal {N}}(0,\gamma ^{2}).$

با این حساب، احتمال مشروط $y_{i}$ از تابع درست نمایی پایین پیروی می‌کند:

$\rho ({y}\mid \mathbf {X} ,\beta ,\gamma ^{-1}\mathbf {I} )={\mathcal {N}}(y\mid \beta ^{t}\mathbf {x} ,\gamma ^{-1}\mathbf {I} ).$

یکی از راه‌های به دست آوردن پارامتر بهینه روش کمترین مربعات است که مجموع مربعات تفاضل خطاها، یعنی$\Sigma _{i}\left(y_{i}-\beta ^{t}\mathbf {x_{i}} \right)^{2}$ به حداقل می‌رساند:

${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\rm {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\rm {T}}\mathbf {y}$

در اینجا $\mathbf {X} _{n\times k}$ ماتریس $\mathbf {x} _{i}$ هاست، به شکلی که در سطر $i$ بردار $\mathbf {x} _{i}$ قرار دارد. همچنین تمامی $y_{i}$‌ها در بردار $\mathbf {y} _{n\times 1}$ قرار دارد.

راه حل کمترین مربعات از یک رویکرد فروانی‌گرا استفاده می‌کند که در آن مقادیر ${\boldsymbol {\beta }}$ فقط از طریق داده‌های موجود تعیین می‌گردد. در روش استنباط بیزی اما، داده‌ها با اطلاعات اضافی در قالب یک توزیع احتمال پیشین مورد بررسی می‌گیرند و توزیع پسین که با استفاده از قانون بیز، توزیع پیشین و تابع درست نمایی به دست می‌آید برای پیش‌بینی مدل مورد استفاده قرار می‌گیرد.

در روش رگرسیون خطی بیز فرض می‌کنیم پارامتر ${\boldsymbol {\beta }}$ خود یک متغیر تصادفی است که از توزیع طبیعی $\rho (\beta )={\mathcal {N}}(\mathbf {0} ,\alpha \mathbf {I} ^{-1})$ پیروی می‌کند و طبق قانون بیز توزیع پسین را به شکل پایین به دست می‌آوریم:

$\rho (\mathbf {\beta } \mid \mathbf {D} )={\frac {\rho (\mathbf {D} \mid \mathbf {\beta } )\times \rho (\mathbf {\beta } )}{\rho (\mathbf {D} )}}={\mathcal {N}}(\beta \mid \mathbf {\mu _{n}} ,\mathbf {\Sigma _{n}} )$

در اینجا $\mathbf {\mu _{n}} =\mathbf {\beta } \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y}$ و $\mathbf {\Sigma _{n}} ^{-1}=\alpha \mathbf {I} +\beta \mathbf {X} ^{t}\mathbf {X}$

برای پیش‌بینی یک بردار جدید $\mathbf {x}$ از رابطه پایین استفاده می‌کنیم:

$\rho (y\mid \mathbf {x} ,\mathbf {D} ,\alpha ,\gamma )=\int \rho (y\mid \beta ,\gamma )\times p(\beta \mid \mathbf {D} ,\alpha ,\gamma )={\mathcal {N}}(y\mid \mathbf {m_{n}^{t}} \mathbf {x} ,{\frac {1}{\gamma }}+\mathbf {x} ^{t}\mathbf {\Sigma _{n}} \mathbf {x} )$

در اینجا $\mathbf {m_{n}} =\gamma \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y}$.

با استفاده از این تابع پیش‌بینی اگر میانگین یا میانه توزیع را به عنوان پیش‌بینی نهایی در نظر بگیریم جواب $\left(\gamma \mathbf {\Sigma _{n}} \mathbf {X} ^{t}\mathbf {y} \right)^{t}\mathbf {x}$ خواهد بود.

جستارهای وابسته

• کمینه مربعات خطی
• رگرسیون خطی
• رگرسیون لجیستیک
• رگرسیون پواسون