دقت و بازیابی
دقت و بازیابی (انگلیسی: Precision and recall) یا دقت و بازیافت در بازشناخت الگو، بازیابی اطلاعات و طبقه‌بندی آماری کاربرد دارند. در حوزه یادگیری ماشینی، Precision به معنای درصدی از پیش‌بینی‌های مدل که مرتبط هستند ولی recall اشاره به درصدی از کل پیش‌بینی‌هایی که توسط مدل درست دسته‌بندی‌شده‌اند. به بیان ساده‌تر، «دقت» به این سؤال پاسخ می‌دهد که «چه مقدار از مواردی که شناسایی کردیم، درست بودند؟» و «بازیابی» به این سؤال پاسخ می‌دهد که «چه مقدار از مواردی که باید شناسایی می‌کردیم را شناسایی کردیم؟»[۱].
Recall برابر است با تقسیم تعداد مواردی که توسط مدل درست تشخیص داده‌اند شده بر تعداد کل مواردی که توسط مدل ایجاد شده‌اند و Precision برابر است با تقسیم تعداد مواردی که توسط مدل درست تشخیص داده شده‌است بر تعداد مواردی که واقعاً درست هستند، درست تشخیص داده شده‌اند.
به عنوان مثال یک الگوریتم یادگیری ماشینی از میان ۱۲ تصویر سگ و گربه ۸ مورد سگ را تشخیص می‌دهد. از ۸ سگ ۵ مورد واقعاً سگ هستند (مثبت درست یا true positives) و ۳ مورد دیگر گربه هستند؛ که مثبت نادرست یا false positives هستند. مقدار precision برابر با ۵/۸ است و مقدار recall برابر با ۵/۱۲ هست.
وقتی موتور جستجو ۳۰ صفحه را بازمی‌گرداند و فقط ۲۰ موردش مرتبط هستند و به اشتباهاً ۴۰ مورد دیگر که مرتبط بودند را بازنمی‌گرداند. مقدار precision برابر با ۲۰/۳۰ = ۲/۳ و مقدار recall برابر با ۲۰/۶۰ = ۱/۳ است.
در نتیجه در این مورد precision نشان می‌دهد که چقدر موتور جستجو به درد بخور است و recall نشان می‌دهد که چه مقدار پاسخش کامل و جامع هست.
فرمول
[ویرایش]
تفاوت Accuracy, Precision, Recall و Specificity
[ویرایش]به عنوان مثال قصد داریم طی یک روند یادگیری نظارت‌شده مدلی برای پیش‌بینی بیماری سرطان ایجاد کنیم. برای آموزش مدل یک جامعه آماری تهیه می‌کنیم که تعدادی بیمار واقعاً سرطان درند و تعدادی هم ندارند و مدل را به کمک بخش آموزش، ایجاد می‌کنیم و بر روی بخش آزمون یا شاهد آن را اجرا می‌کنیم تا میزان خطا یا دقت مدل را بررسی کنیم.
- specificity عبارت است از کسری از جوابهای منفی که به درستی تشخیص داده شده‌است مثلاً درصد افرادی که طبق پیش‌بینی مدل سرطان ندارند و در دنیای واقعی هم سرطان ندارند.
- recall یا sensitivity یا بازیابی عبارتست از کسری از جوابهای مثبت که درست تشخیص داده شده‌اند مثلاً درصد افرادی که طبق پیش‌بینی مدل سرطان دارند و در دنیای واقعی هم سرطان دارند.
- accuracy یا صحت یعنی مقدار اندازه‌گیری شده چقدر به مقدار واقعی نزدیک است برای accuracy باید precision بالا باشد ولی برعکسش لزوماً برقرار نیست. بالا بودن بایاس و واریانس به معنای accuracy کم است.
- precision یا دقت برای اندازه‌گیری‌های متوالی از یک مقدار میزان نزدیک بودن مقدارهای اندازه‌گیری را نشان می‌دهد. مثلاً اگر یک ساعت هر روز فقط ۲ ساعت جلو رود مقدار accuracy یا صحتش پایین است ولی مقدار precision آن بالاست.
| واقعیت | ||||||
| جامعه آماری | در واقعیت مثبت | در واقعیت منفی | شیوع = Σ Condition positive/Σ Total population | صحت (ACC) = Σ True positive + Σ True negative/Σ Total population | ||
| پیش‌بینی | پیش‌بینی مثبت |
مثبت صادق | مثبت کاذب خطای نوع اول |
Positive predictive value (PPV), دقت و بازیابی = Σ True positive/Σ Predicted condition positive | میزان کشف اشتباه (FDR) = Σ False positive/Σ Predicted condition positive | |
| پیش‌بینی منفی |
منفی کاذب خطای نوع دوم |
منفی صادق | False omission rate (FOR) = Σ False negative/Σ Predicted condition negative | Negative predictive value (NPV) = Σ True negative/Σ Predicted condition negative | ||
| حساسیت و ویژگی (TPR), دقت و بازیابی، حساسیت و ویژگی، probability of detection, توان آماری = Σ True positive/Σ Condition positive | False positive rate (FPR), بازیابی اطلاعات، probability of false alarm = Σ False positive/Σ Condition negative | Positive likelihood ratio (LR+) = TPR/FPR | Diagnostic odds ratio (DOR) = LR+/LR− | امتیاز اف ۱ = 2 · Precision · Recall/Precision + Recall | ||
| False negative rate (FNR), Miss rate = Σ False negative/Σ Condition positive | حساسیت و ویژگی (SPC), Selectivity, حساسیت و ویژگی (TNR) = Σ True negative/Σ Condition negative | Negative likelihood ratio (LR−) = FNR/TNR | ||||
| وضعیت پیش‌بینی‌شده | منابع: [۲][۳][۴][۵][۶][۷][۸][۹] | ||||
| کل جامعه = P + N |
مثبت پیش‌بینی‌شده | منفی پیش‌بینی‌شده | اطلاع‌مندی (BM) = TPR + TNR − 1 |
آستانه شیوع (PT) = √TPR × FPR - FPR/TPR - FPR | |
| مثبت (P) [الف] | مثبت واقعی(TP)، ضربه صحیح (hit)[ب] |
منفی کاذب (FN)، عدم تشخیص، کمتر از واقع برآورد شده (miss) |
نرخ مثبت واقعی (TPR)، بازیابی، حساسیت (SEN)، احتمال تشخیص، نرخ ضربه صحیح، توان = TP/P = 1 − FNR |
نرخ منفی کاذب (FNR)، نرخ عدم تشخیص (miss rate)خطای نوع دوم [پ] = FN/P = 1 − TPR | |
| منفی (N)[ت] | مثبت کاذب (FP)، آلارم اشتباه، آژیر کاذب، برآورد بیش از واقع |
منفی واقعی (TN) ، رد صحیح (correct rejection)[ث] |
نرخ مثبت کاذب (FPR)، احتمال آژیر کاذب، fall-out خطای نوع اول [ج] = FP/N = 1 − TNR |
نرخ منفی واقعی (TNR)، ویژگی (specificity)، گزینش‌پذیری = TN/N = 1 − FPR | |
| شیوع = P/P + N |
ارزش اخباری مثبت (PPV)، دقت = TP/TP + FP = 1 − FDR |
نرخ حذف اشتباه (FOR) = FN/TN + FN = 1 − NPV |
نسبت درست‌نمایی مثبت (LR+) = TPR/FPR |
نسبت درست‌نمایی منفی (LR−) = FNR/TNR | |
| صحت (ACC) = TP + TN/P + N |
نرخ کشف اشتباه (FDR) = FP/TP + FP = 1 − PPV |
ارزش اخباری منفی (NPV) = TN/TN + FN = 1 − FOR |
نشانداری (MK)، deltaP (Δp) = PPV + NPV − 1 |
نسبت شانس تشخیصی (DOR) = LR+/LR− | |
| دقت متعادل (BA) = TPR + TNR/2 |
امتیاز اف ۱ = 2 PPV × TPR/PPV + TPR = 2 TP/2 TP + FP + FN |
شاخص فاوکس–مالوز (FM) = √PPV × TPR |
ضریب همبستگی متیوز (MCC) = √TPR × TNR × PPV × NPV - √FNR × FPR × FOR × FDR |
شاخص جاکارد، امتیاز تهدید (TS)، شاخص موفقیت بحرانی (CSI) = TP/TP + FN + FP | |
- ↑ تعداد موارد واقعاً مثبت در داده‌ها
- ↑ نتیجه‌ای که درست نشان می‌دهد یک وضعیت یا ویژگی حضور دارد
- ↑ خطای نوع دوم: نتیجه‌ای که به‌اشتباه نشان می‌دهد یک ویژگی یا وضعیت حضور ندارد
- ↑ تعداد موارد واقعاً منفی در داده‌ها
- ↑ نتیجه‌ای که درست نشان می‌دهد یک وضعیت یا ویژگی غایب است
- ↑ خطای نوع اول: نتیجه‌ای که به‌اشتباه نشان می‌دهد یک ویژگی یا وضعیت حضور دارد
جستارهای وابسته
[ویرایش]منابع
[ویرایش]- ↑ https://developers.google.com/machine-learning/crash-course/classification/precision-and-recall
- ↑ Fawcett, Tom (2006). "An Introduction to ROC Analysis" (PDF). Pattern Recognition Letters. 27 (8): 861–874. doi:10.1016/j.patrec.2005.10.010. S2CID 2027090.
- ↑ Provost, Foster; Tom Fawcett (2013-08-01). "Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking". O'Reilly Media، Inc. (به انگلیسی).
- ↑ Powers, David M. W. (2011). "Evaluation: From Precision، Recall and F-Measure to ROC، Informedness، Markedness & Correlation". Journal of Machine Learning Technologies. 2 (1): 37–63.
- ↑ Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I. (eds.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
- ↑ Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (2015-01-26). "WWRP/WGNE Joint Working Group on Forecast Verification Research". Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Retrieved 2019-07-17.
- ↑
Chicco D، Jurman G (January 2020). "The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation". BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
{{cite journal}}: Vancouver style error: non-Latin character in name 1 (help) - ↑
Chicco D، Toetsch N، Jurman G (February 2021). "The Matthews correlation coefficient (MCC) is more reliable than balanced accuracy، bookmaker informedness، and markedness in two-class confusion matrix evaluation". BioData Mining. 14 (13): 13. doi:10.1186/s13040-021-00244-z. PMC 7863449. PMID 33541410.
{{cite journal}}: Vancouver style error: non-Latin character in name 1 (help) - ↑ Tharwat A. (August 2018). "Classification assessment methods". Applied Computing and Informatics. 17: 168–192. doi:10.1016/j.aci.2018.08.003.
- مشارکت‌کنندگان ویکی‌پدیا. «Precision and recall». در دانشنامهٔ ویکی‌پدیای انگلیسی، بازبینی‌شده در ۱۲ نوامبر ۲۰۱۹.