صحت و دقت
ظاهر
در یک مجموعه اندازهگیری، صِحَت (به انگلیسی: accuracy) به معنی نزدیکی مقادیر اندازهگیری به یک مقدار خاص و دِقَت (به انگلیسی: precision) به معنی نزدیکی مقادیر اندازهگیری به یکدیگر است. صحت یک ابزار، معمولاً کالیبره شدنی میباشد اما دقت آن، بخشی از ماهیت ابزار میباشد.[۱]
دقت معیاری توصیفی از خطاهای تصادفی است که نشاندهندهٔ دامنهٔ پراکندگی آماری است.
صحت نیز به دو شکل تعریف میشود:[۲]
- تعریفی که بیشتر معمول است، دقت را معیاری توصیفی از خطاهای ذاتی (سیستماتیک) اندازهگیری در نظر میگیرد که خود نشاندهندهٔ تمایل ذاتی دادهها است.[۳]
- تعریف دیگر (تعریف ISO)، دقت را به توصیف هر دو نوع خطای مشاهده و همچنین تعریف بالا میگویند.[۴]
واقعیت | ||||||
جامعه آماری | در واقعیت مثبت | در واقعیت منفی | شیوع = Σ Condition positive/Σ Total population | صحت (ACC) = Σ True positive + Σ True negative/Σ Total population | ||
پیشبینی | پیشبینی مثبت |
مثبت صادق | مثبت کاذب خطای نوع اول |
Positive predictive value (PPV), دقت و بازیابی = Σ True positive/Σ Predicted condition positive | میزان کشف اشتباه (FDR) = Σ False positive/Σ Predicted condition positive | |
پیشبینی منفی |
منفی کاذب خطای نوع دوم |
منفی صادق | False omission rate (FOR) = Σ False negative/Σ Predicted condition negative | Negative predictive value (NPV) = Σ True negative/Σ Predicted condition negative | ||
حساسیت و ویژگی (TPR), دقت و بازیابی، حساسیت و ویژگی، probability of detection, توان آماری = Σ True positive/Σ Condition positive | False positive rate (FPR), بازیابی اطلاعات، probability of false alarm = Σ False positive/Σ Condition negative | Positive likelihood ratio (LR+) = TPR/FPR | Diagnostic odds ratio (DOR) = LR+/LR− | امتیاز اف ۱ = 2 · Precision · Recall/Precision + Recall | ||
False negative rate (FNR), Miss rate = Σ False negative/Σ Condition positive | حساسیت و ویژگی (SPC), Selectivity, حساسیت و ویژگی (TNR) = Σ True negative/Σ Condition negative | Negative likelihood ratio (LR−) = FNR/TNR |
وضعیت پیشبینیشده | منابع: [۵][۶][۷][۸][۹][۱۰][۱۱][۱۲] | ||||
کل جامعه = P + N |
مثبت پیشبینیشده | منفی پیشبینیشده | اطلاعمندی (BM) = TPR + TNR − 1 |
آستانه شیوع (PT) = √TPR × FPR - FPR/TPR - FPR | |
مثبت (P) [الف] | مثبت واقعی(TP)، ضربه صحیح (hit)[ب] |
منفی کاذب (FN)، عدم تشخیص، کمتر از واقع برآورد شده (miss) |
نرخ مثبت واقعی (TPR)، بازیابی، حساسیت (SEN)، احتمال تشخیص، نرخ ضربه صحیح، توان = TP/P = 1 − FNR |
نرخ منفی کاذب (FNR)، نرخ عدم تشخیص (miss rate)خطای نوع دوم [پ] = FN/P = 1 − TPR | |
منفی (N)[ت] | مثبت کاذب (FP)، آلارم اشتباه، آژیر کاذب، برآورد بیش از واقع |
منفی واقعی (TN) ، رد صحیح (correct rejection)[ث] |
نرخ مثبت کاذب (FPR)، احتمال آژیر کاذب، fall-out خطای نوع اول [ج] = FP/N = 1 − TNR |
نرخ منفی واقعی (TNR)، ویژگی (specificity)، گزینشپذیری = TN/N = 1 − FPR | |
شیوع = P/P + N |
ارزش اخباری مثبت (PPV)، دقت = TP/TP + FP = 1 − FDR |
نرخ حذف اشتباه (FOR) = FN/TN + FN = 1 − NPV |
نسبت درستنمایی مثبت (LR+) = TPR/FPR |
نسبت درستنمایی منفی (LR−) = FNR/TNR | |
صحت (ACC) = TP + TN/P + N |
نرخ کشف اشتباه (FDR) = FP/TP + FP = 1 − PPV |
ارزش اخباری منفی (NPV) = TN/TN + FN = 1 − FOR |
نشانداری (MK)، deltaP (Δp) = PPV + NPV − 1 |
نسبت شانس تشخیصی (DOR) = LR+/LR− | |
دقت متعادل (BA) = TPR + TNR/2 |
امتیاز اف ۱ = 2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN |
شاخص فاوکس–مالوز (FM) = √PPV × TPR |
ضریب همبستگی متیوز (MCC) = √TPR × TNR × PPV × NPV - √FNR × FPR × FOR × FDR |
شاخص جاکارد، امتیاز تهدید (TS)، شاخص موفقیت بحرانی (CSI) = TP/TP + FN + FP |
- ↑ تعداد موارد واقعاً مثبت در دادهها
- ↑ نتیجهای که درست نشان میدهد یک وضعیت یا ویژگی حضور دارد
- ↑ خطای نوع دوم: نتیجهای که بهاشتباه نشان میدهد یک ویژگی یا وضعیت حضور ندارد
- ↑ تعداد موارد واقعاً منفی در دادهها
- ↑ نتیجهای که درست نشان میدهد یک وضعیت یا ویژگی غایب است
- ↑ خطای نوع اول: نتیجهای که بهاشتباه نشان میدهد یک ویژگی یا وضعیت حضور دارد
منابع
[ویرایش]- ↑ JCGM 200:2008 International vocabulary of metrology — Basic and general concepts and associated terms (VIM)
- ↑ JCGM 200:2008 International vocabulary of metrology — Basic and general concepts and associated terms (VIM)
- ↑ Taylor, John Robert (1999). An Introduction to Error Analysis: The Study of Uncertainties in Physical Measurements. University Science Books. pp. 128–129. ISBN 0-935702-75-X.
- ↑ North Atlantic Treaty Organization, NATO Standardization Agency AAP-6 – Glossary of terms and definitions, p 43.
- ↑ Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
- ↑ Provost, Foster; Tom Fawcett (2013-08-01). "Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking". O'Reilly Media، Inc. (به انگلیسی).
- ↑ Powers, David M. W. (2011). "Evaluation: From Precision، Recall and F-Measure to ROC، Informedness، Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
- ↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
- ↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
- ↑
Chicco D، Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
{{cite journal}}
: Vancouver style error: non-Latin character in name 1 (help) - ↑
Chicco D، Toetsch N، Jurman G (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy، bookmaker informedness، and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
{{cite journal}}
: Vancouver style error: non-Latin character in name 1 (help) - ↑ Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.