فرایند گاوسی

در نظریه احتمال و آمار یک فرایند گاوسی یک مدل آماری است که در آن مشاهدات در دامنه پیوسته رخ می‌دهد، به عنوان مثال زمان یا فضا. در یک فرایند گاوسی هر نقطه از فضای ورودی یک متغیر تصادفی با توزیع نرمال است. علاوه بر این هر مجموعه متناهی از این متغیرهای تصادفی دارای توزیع گاوسی چند متغیره است. توزیع فرایند گاوسی توزیع مشترک از تمام این متغیرهای تصادفی (شمارا و نامحدود) است.

از دید یک الگوریتم یادگیری ماشین، یک فرایند گاوسی از lazy learning و اندازه‌گیری شباهت بین نقاط (همان تابع کرنل) برای پیش‌بینی نقاط جدید از داده‌های آموزشی است.

فرایند گاوسی به افتخار کارل فریدریش گاوس به نام وی نام‌گذاری شده‌است زیرا از او نماد گذاری توزیع گاوسی (توزیع نرمال) را پایه‌گذاری کرد. فرایندهای گاوسی را می‌توان به عنوان یک توزیع بی‌نهایت بعدی از گاوسی چند متغیره دید.

فرایند گاوسی برای مدل کردن‌های اماری مفید است، زیرا این فرایند از مزایای ذاتی توزیع نرمال استفاده می‌کند.

تعریف

یک فرایند گاوسی توزیع آماری X_t با t ∈ T است که برای هر تعداد متناهی ترکیب خطی از نمونه‌ها دارای یک توزیع مشترک گاوسی است. به‌طور دقیق تر، هر تابع خطی اعمال شده بر روی X_t یک توزیع شده گاوسی نتیجه می‌دهد. می‌توانیم بنویسیم (X ~ GP(m,K به معنی اینکه تابع تصادفی X دارای توزیع فرایند گاوسی با تابع میانگین m و تابع کوواریانس K است.^[۱]

برخی از نویسندگان^[۲] فرض می‌کنند که متغیرهای تصادفی X_t میانگین صفر را دارد؛ این کار باعث ساده‌سازی محاسبات بدون از دست دادن کلیت می‌شود.^[۳]

تعاریف دیگر

به عنوان تعریفی دیگر یک فرایند پیوسته در زمان گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های $t_{1},\ldots ,t_{k}$ در مجموعهٔ شاخص $T$ $X_{t_{1},\ldots ,t_{k}}=(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{k}})$ یک متغیر تصادفی گاوسی چند متغیره است.^[۴] با استفاده از تابع مشخصه ی متغیرهای تصادفی ویژگی گاوسی می‌تواند به شرح زیر بیان شود: $\left\{X_{t};t\in T\right\}$ گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های مقادیر حقیقی $t_{1},\ldots ,t_{k}$ که $\sigma _{\ell j},\mu _{\ell }$ ( $\sigma _{jj}>0$ ) وجود داشته باشد به طوری که معادله زیر برای همهٔ $s_{1},s_{2},...s_{k}\in \mathbb {R}$ برقرار باشد:

\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell }}\right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right).

که $i$ عدد موهومی ${\sqrt {-1}}$ را نشان می‌دهد $\sigma _{\ell j}$ و $\mu _{\ell }$ به ترتیب بیانگر کوواریانس و میانگین متغیرهای تصادفی در فرایند است.^[۵]

توابع کوواریانس

یک ویژگی کلیدی در فرایندهای گاوسی این است که آن‌ها را می‌توان به صورت کامل با ممان مرتبه دومشان تعریف کرد.^[۶] بنابراین اگر فرض شود میانگین صفر است، با تعریف تابع کوواریانس به صورت کامل رفتار فرایند مشخص می‌شود.^[۷]^[۸]

اگر فرایند ایستا باشد آن فقط به اختلاف، x' − x بستگی دارد ،در حالی که اگر غیر ایستا باشد آن بستگی به موقعیت واقعی نقاط x و 'x دارد. برای مثال حالت خاص فرایند Ornstein–Uhlenbeck، یعنی حرکت براونی ایستا است.

اگر فرایند تنها به |x' − x| بستگی داشته باشد، یعنی فاصله اقلیدسی بین x و 'x (بدون اهمیت جهت) ، فرایند همسانگرد محسوب می‌شود. یک فرایند است که هم ایستا و هم همسانگرد است همگن نامیده می‌شود؛^[۹]

توابع معمول که به عنوان کوواریانس استفاده می‌شود:

ثابت:

$K_{\text{C}}(x,x')=C$

خطی:

$K_{\text{L}}(x,x')=x^{T}x'$

نویز گاوسی:

$K_{\text{GN}}(x,x')=\sigma ^{2}\delta _{x,x'}$

رگرسیون فرایند گاوسی

یکی از کاربردهای فرایندهای گاوسی در یادگیری ماشین مدل فرایند گاوسی است. فرایند گاوسی یک چارچوب یادگیری نظارت‌شده است که از آن برای رگرسیون و طبقه‌بندی استفاده می‌شود. این مدل به‌طور خلاصه با استفاده از دانش اولیه‌ی خود راجع مسئله که در یک تابع کوواریانس یا کرنل خلاصه می‌شود، پیش‌بینی‌اش را انجام می‌دهد و نهایتا علاوه بر پیش‌بینی انجام شده معیاری از عدم قطعیت پیش‌بینی را نیز ارائه می‌دهد. قابل اندازه‌گیری بودن عدم قطعیت پیش‌بینی‌های این مدل، آن را از بسیاری از مدل‌های دیگر یادگیری نظارت‌شده متمایز می‌کند.

در یک مسئله‌ی عام رگرسیون سعی بر این است تا با کمک تعدادی نقطه‌ی از قبل مشاهده شده، تابعی را پیدا کنیم که به بهترین شکل این نقاط را توصیف می‌کند سپس از این تابع جهت پیش‌بینی نقطه‌های دیده نشده استفاده شود. هرچند برای مجموعه‌ای متناهی از نقاط داده شده در یک فضای پیوسته، بیشمار تابع وجود دارد که از این نقاط می‌گذرد. رگرسیون فرایند گاوسی سعی دارد تا توزیع احتمالی روی این بی‌نهایت تابع ممکن بدست آورده و با کمک این توزیع به پیش‌بینی مقادیر نقاط دیده نشده بپردازد. توزیع احتمال ذکر شده روی توابع در واقع یک فرایند گاوسی است که با یک تابع میانگین و کوواریانس اولیه آغاز شده و در هر مرحله با اضافه شدن یک نقطه‌ی مشاهده‌شده‌ی جدید بروزرسانی می‌شوند. از آنجایی که خروجی این مدل توزیعی روی تمام توابع ممکن است می‌توان میانگین این توابع را به عنوان پیش‌بینی مدل و واریانس آن‌ها را به عنوان معیاری از اطمینان پیش‌بینی انجام شده در نظر گرفت.^[۱۰] اغلب در کار با داده‌های نرمالیزه‌شده یا داده‌هایی که اطلاعات اولیه‌ای راجع آن‌ نداریم میانگین صفر در نظر گرفته می‌شود و تابع کوواریانس با یک تابع کرنل مقداردهی اولیه می‌شود.

رگرسیون فرایند گاوسی یک مدل غیرپارامتریک است به این معنا که مدل صورت از پیش تعیین‌شده‌ای ندارد بلکه فرم آن از روی تمام داده‌های مشاهده‌شده تعیین می‌شود (یا به عبارت دیگر سایز پارامترهای مدل با سایز داده‌های مشاهده‌شده رشد می‌کند).

صورت‌بندی ریاضی

فرض کنید تعدادی نمونه‌ی نویزی $\mathbf {y} _{T}=[y_{1}\cdots y_{T}]^{T}$ در نقاط $A_{T}=[\mathbf {x_{1}} \cdots \mathbf {x_{T}} ]$ وجود دارد به طوری که برای هر $t$ ، $y_{t}=f(\mathbf {x} _{t})+\epsilon _{t}\qquad \epsilon _{t}\sim N(0,\sigma ^{2})$ با شروع از یک مقدار اولیه ${\mathcal {GP}}(0,k(x,x'))$ توزیع احتمال پسین بدست آمده از روی این داده‌ها (یعنی میانگین جدید $\mu _{T}(x)$ و کوواریانس جدید $k_{T}(\mathbf {x} ,\mathbf {x'} )$ ) و همچنین واریانس توزیع جدید $\sigma _{T}^{2}(\mathbf {x} )$ به صورت زیر می‌باشند:

$\mu _{T}(\mathbf {x} )=\mathbf {k} _{T}(\mathbf {x} )^{T}(\mathbf {K} _{T}+\sigma ^{2}\mathbf {I} )^{-1}\mathbf {y} _{T}$ $k_{T}(\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )-\mathbf {k} _{T}(\mathbf {x} )^{T}(\mathbf {K} _{T}+\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} _{T}(\mathbf {x'} )$ $\sigma _{T}^{2}(\mathbf {x} )=k_{T}(\mathbf {x} ,\mathbf {x} )$ که در آن $I$ ماتریس همانی، $\mathbf {k} _{T}(\mathbf {x} )=[k(\mathbf {x_{1}} ,\mathbf {x} )\cdots k(\mathbf {x_{T}} ,\mathbf {x} )]^{T}$ و $\mathbf {K} _{T}$ ماتریس کرنل مثبت معین است یعنی $[k(\mathbf {x} ,\mathbf {x'} )]_{\mathbf {x} ,\mathbf {x'} \in A_{T}}$ . نهایتا می‌توان پیش‌بینی‌های جدید را با کمک تابع $\mu _{T}(x)$ و واریانس در این نقاط را با کمک تابع $\sigma _{T}^{2}(\mathbf {x} )$ بدست آورد.^[۱۱]

یادداشت

↑ Rasmussen, C. E. (2004). "Gaussian Processes in Machine Learning". Advanced Lectures on Machine Learning. Lecture Notes in Computer Science. Vol. 3176. pp. 63–71. doi:10.1007/978-3-540-28650-9_4. ISBN 978-3-540-23122-6.
↑ Simon, Barry (1979). Functional Integration and Quantum Physics. Academic Press.
↑ Seeger, Matthias (2004). "Gaussian Processes for Machine Learning". International Journal of Neural Systems. 14 (2): 69–104. doi:10.1142/s0129065704001899.
↑ MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. p. 540. ISBN 978-0-521-64298-9. The probability distribution of a function $y(\mathbf {x} )$ is a Gaussian processes if for any finite selection of points $\mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)}$ , the density $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N)}))$ is a Gaussian
↑ Dudley, R.M. (1989). Real Analysis and Probability. Wadsworth and Brooks/Cole.
↑ Bishop, C.M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8.
↑ Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7.
↑ Rasmussen, C.E.; Williams, C.K.I (2006). Gaussian Processes for Machine Learning. MIT Press. ISBN 0-262-18253-X.
↑ Grimmett, Geoffrey; David Stirzaker (2001). Probability and Random Processes. Oxford University Press. ISBN 0-19-857222-0.
↑ Wang, Jie (2022-04-18). "An Intuitive Tutorial to Gaussian Processes Regression". arXiv:2009.10862 [cs, stat].
↑ Srinivas, Niranjan; Krause, Andreas; Kakade, Sham M.; Seeger, Matthias (2012-05). "Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design". IEEE Transactions on Information Theory. 58 (5): 3250–3265. doi:10.1109/TIT.2011.2182033. ISSN 0018-9448. {{cite journal}}: Check date values in: |date= (help)

[1] Rasmussen, C. E. (2004). "Gaussian Processes in Machine Learning". Advanced Lectures on Machine Learning. Lecture Notes in Computer Science. Vol. 3176. pp. 63–71. doi:10.1007/978-3-540-28650-9_4. ISBN 978-3-540-23122-6.

[2] Simon, Barry (1979). Functional Integration and Quantum Physics. Academic Press.

[seegerGPML-3] Seeger, Matthias (2004). "Gaussian Processes for Machine Learning". International Journal of Neural Systems. 14 (2): 69–104. doi:10.1142/s0129065704001899.

[DrMacKayGPNN-4] MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. p. 540. ISBN 978-0-521-64298-9. The probability distribution of a function $y(\mathbf {x} )$ is a Gaussian processes if for any finite selection of points $\mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)}$ , the density $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N)}))$ is a Gaussian

[5] Dudley, R.M. (1989). Real Analysis and Probability. Wadsworth and Brooks/Cole.

[prml-6] Bishop, C.M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8.

[brml-7] Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7.

[gpml-8] Rasmussen, C.E.; Williams, C.K.I (2006). Gaussian Processes for Machine Learning. MIT Press. ISBN 0-262-18253-X.

[PRP-9] Grimmett, Geoffrey; David Stirzaker (2001). Probability and Random Processes. Oxford University Press. ISBN 0-19-857222-0.

[10] Wang, Jie (2022-04-18). "An Intuitive Tutorial to Gaussian Processes Regression". arXiv:2009.10862 [cs, stat].

[11] Srinivas, Niranjan; Krause, Andreas; Kakade, Sham M.; Seeger, Matthias (2012-05). "Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design". IEEE Transactions on Information Theory. 58 (5): 3250–3265. doi:10.1109/TIT.2011.2182033. ISSN 0018-9448. {{cite journal}}: Check date values in: |date= (help)

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]

[۹]

[۱۰]

[۱۱]

ن ب و فرایندهای تصادفی
فرایند تصادفی	فرایند برنولی فرایند شاخه‌ای فرایند رستوران چینی فرایند گالتون-واتسون متغیرهای تصادفی مستقل با توزیع یکسان زنجیره مارکوف فرایند مورن ولگشت Loop-erased ولگشت خودپرهیز (قدم زدن بدون قطع کردن خود)
Continuous time	Bessel process Birth–death process فرایند وینر Bridge Excursion Fractional Geometric Meander فرایند کوشی Contact process گام-تصادفی زمان-پیوسته Cox process Diffusion process Empirical process فرایند فلر فرایند فلمینگ-ویوت Gamma process Hunt process Interacting particle systems Itô diffusion فرایند ایتو Jump diffusion Jump process فرایند لوی Local time Markov additive process McKean–Vlasov process فرایند اورنستین-یولنبک فرایند پواسون Compound فرایند پواسون فرایند پواسون تحول شرام و لونر Semimartingale Sigma-martingale Stable process Superprocess Telegraph process Variance gamma process فرایند وینر Wiener sausage
Both	فرایند شاخه‌ای Galves–Löcherbach model فرایند گاوسی مدل پنهان مارکف زنجیره مارکوف مارتینگیل Differences Local مارتینگیل مارتینگیل Random dynamical system Regenerative process نظریه تجدید Stochastic chains with memory of variable length نویز سفید
Fields and other	فرایند دیریکله Gaussian random field Gibbs measure شبکه هاپفیلد مدل آیزینگ Potts model شبکه بولی میدان تصادفی مارکفی نظریه تراوش فرایند پیتمن-یور فرایند نقطه ای Cox فرایند پواسون میدان تصادفی گراف تصادفی
سری زمانی	واریانس ناهمسانی شرطی اتورگرسیو میانگین متحرک خودهمبسته یکپارچه مدل خودهمبسته مدل خودهمبسته میانگین متحرک واریانس ناهمسانی شرطی اتورگرسیو مدل میانگین متحرک
Financial models	مدل بلک-درمن-توی Black–Karasinski مدل بلک-شولز مدل چن Constant elasticity of variance (CEV) مدل کاکس-اینگرسول-راس Garman–Kohlhagen Heath–Jarrow–Morton (HJM) Heston Ho–Lee Hull–White LIBOR market Rendleman–Bartter SABR volatility مدل واسیچک Wilkie
بیمسنجی	Bühlmann Cramér–Lundberg Risk process Sparre–Anderson
نظریه صفs	Bulk Fluid Generalized queueing network M/G/1 صف M/M/1 M/M/c
Properties	تابع Càdlàg Continuous Continuous paths ارگادیسیتی متغیرهای تصادفی تعویض پذیر Feller-continuous فرآیندهای تصادفی گاوسی-مارکوف خاصیت مارکف Mixing Piecewise deterministic Predictable Progressively measurable Self-similar فرایند مانا Time-reversible
Limit theorems	قضیه حد مرکزی Donsker's theorem Doob's martingale convergence theorems نظریه ارگودیک Fisher–Tippett–Gnedenko theorem Large deviation principle قانون اعداد بزرگ قانون لگاریتم‌های تکراری Maximal ergodic theorem Sanov's theorem
Inequalities	Burkholder–Davis–Gundy Doob's martingale Kunita–Watanabe
Tools	Cameron–Martin formula همگرایی متغیرهای تصادفی Doléans-Dade exponential Doob decomposition theorem Doob–Meyer decomposition theorem Doob's optional stopping theorem Dynkin's formula Feynman–Kac formula Filtration Girsanov theorem Infinitesimal generator Itô integral Itô's lemma Kolmogorov continuity theorem Kolmogorov extension theorem Lévy–Prokhorov metric Malliavin calculus Martingale representation theorem Optional stopping theorem Prokhorov's theorem Quadratic variation Reflection principle Skorokhod integral Skorokhod's representation theorem تابع Càdlàg Snell envelope معادله دیفرانسیل تصادفی Tanaka زمان توقف Stratonovich integral Uniform integrability Usual hypotheses Wiener space Classical Abstract
Disciplines	بیمسنجی اقتصادسنجی نظریه ارگودیک نظریه مقدار حدی قضیه انحرافات بزرگ مالیه ریاضیاتی آمار ریاضی نظریه احتمالات نظریه صف نظریه تجدید Ruin theory آمار حسابان تصادفی سری زمانی یادگیری ماشین
List of topics