مجموع مربعات باقی‌مانده

در آمار، مجموع مربعات باقی‌مانده (RSS) یا مجموع مربع باقیمانده‌ها (SSR) یا مجموع مربع برآوردهای خط (SSE)، مجموع مربعات باقیمانده‌ها (انحرافات پیش‌بینی‌شده از روی مقادیر تجربی واقعی) است، که معیار اختلافی بین داده‌ها و مدل برآورد، مانند رگرسیون خطی است. RSS کوچک نشان‌دهنده تناسب دقیق مدل با داده‌ها است. از آن به عنوان معیار بهینه‌سازی در انتخاب پارامتر و انتخاب مدل استفاده می‌شود.

به طور کلی، جمع کل مربعات = مجموع مربعات توضیح داده‌شده + مجموع مربعات باقیمانده. برای اثبات این موضوع در مورد کمترین مربعات معمولی چند متغیره (OLS)، به تقسیم بندی در مدل کلی OLS مراجعه کنید.

متغیر تبینی

در مدلی با متغیر تبینی واحد، RSS به صورت زیر ارائه می‌شود:

$\operatorname {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}$

که در آن y_i به مقدار متغیر مطلوب پیش‌بینی i^ام ، x_i مقدار متغیر تبینی i^ام است، و $f(x_{i})$ مقدار پیش بینی شده y_i است (که همچنین ${\hat {y_{i}}}$ نامیده می شود). در مدل رگرسیون خطی ساده استاندارد، $y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$ است، که $\alpha$ و $\beta$ ضرایب، y و x به ترتیب رگرسیون‌شده و رگرسیون‌ساز و ε اصطاح خطا است. مجموع مربعات باقیمانده مجموع مربعات ${\widehat {\varepsilon \,}}_{i}$ است; یعنی:

$\operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}$

که ${\widehat {\alpha \,}}$ مقدار برآورد اصطلاح ثابت $\alpha$ و ${\widehat {\beta \,}}$ مقدار تخمینی ضریب شیب است $\beta$ .

بیان ماتریس برای مجموع مربعات باقیمانده OLS

$y=X\beta +e$

$X{\hat {\beta }}=y\iff$

$X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff$

${\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.$

$\operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}$ ،

$\operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y$ ،

$y=ax+b$ ،

که $b={\bar {y}}-a{\bar {x}}$ و $a={\frac {S_{xy}}{S_{xx}}}$، که $S_{xy}=\sum _{i=1}^{n}({\bar {x}}-x_{i})({\bar {y}}-y_{i})$ و $S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.$

از این رو،

${\begin{aligned}\operatorname {RSS} &=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}=\sum _{i=1}^{n}(y_{i}-(ax_{i}+b))^{2}=\sum _{i=1}^{n}(y_{i}-ax_{i}-{\bar {y}}+a{\bar {x}})^{2}\\[5pt]&=\sum _{i=1}^{n}(a({\bar {x}}-x_{i})-({\bar {y}}-y_{i}))^{2}=a^{2}S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy}\left(1-{\frac {S_{xy}^{2}}{S_{xx}S_{yy}}}\right)\end{aligned}}$

که $S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.$

ضریب همبستگی پیرسون توسط $r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};$ از این رو، $\operatorname {RSS} =S_{yy}(1-r^{2}).$

همچنین ببینید

• معیار اطلاعات آکایک #مقایسه با حداقل مربعات
• توزیع Chi-squared#کاربردها
• درجات آزادی (آمار)#مجموع مجذورات و درجات آزادی
• خطاها و باقی مانده ها در آمار
• عدم تناسب مجموع مربع ها
• خطای میانگین مربعات
• کاهش آمار کای دو ، RSS به ازای درجه آزادی
• انحرافات مربعی
• مجموع مربعات (آمار)

منابع

عرفان کریمی