Введение
Матрица ошибок (Confusion Matrix, также матрица путаницы или матрица несоответствий) – это таблица, сводно отображающая результаты работы классификационной модели машинного обучения путём сопоставления предсказанных и фактических меток классов на тестовой выборке. Для задач бинарной классификации матрица имеет размер 2×2; для многоклассовых задач – N×N, где N – число классов.
Матрица ошибок является отправной точкой для вычисления всех ключевых метрик классификатора: точности (accuracy), прецизионности (precision), полноты (recall), F1-меры и специфичности. Понимание матрицы ошибок критично для правильной интерпретации модели, особенно при несбалансированных классах.
История и контекст
Матрица ошибок как инструмент оценки восходит к работам в области распознавания образов и статистики 1950–1960-х годов. В медицинской диагностике аналогичные понятия (чувствительность/sensitivity и специфичность/specificity) применяются с тех же времён. С расцветом машинного обучения в 1990-х и 2000-х годах confusion matrix стала стандартным инструментом в scikit-learn, TensorFlow, MATLAB и других платформах. Сегодня её визуализация является обязательным элементом отчёта о качестве любой классификационной модели.
Как это работает
Для бинарной классификации матрица содержит четыре ячейки:
- True Positive (TP): модель предсказала положительный класс, и он действительно положительный.
- True Negative (TN): модель предсказала отрицательный класс, и он действительно отрицательный.
- False Positive (FP, ошибка I рода): модель предсказала положительный, но фактически отрицательный («ложная тревога»).
- False Negative (FN, ошибка II рода): модель предсказала отрицательный, но фактически положительный («пропущенный случай»).
На основе этих четырёх значений вычисляются метрики:
- Accuracy = (TP + TN) / (TP + TN + FP + FN) – доля правильных предсказаний.
- Precision = TP / (TP + FP) – доля истинно положительных среди всех предсказанных положительных.
- Recall (Sensitivity) = TP / (TP + FN) – доля обнаруженных положительных среди всех реальных положительных.
- F1-score = 2 × (Precision × Recall) / (Precision + Recall) – гармоническое среднее precision и recall.
Где применяется
- Медицинская диагностика: оценка классификатора болезней. FN критичны: пропущенный рак опаснее ложной тревоги → оптимизируют recall.
- Антифрод: обнаружение мошеннических транзакций. FP означает блокировку легального платежа → баланс между recall и precision.
- Спам-фильтрация: FP (легальное письмо в спам) критично для пользователя → высокая precision.
- Компьютерное зрение: распознавание объектов, дефектов на производстве, лиц на изображениях.
- NLP-классификация: тональность текста, категоризация обращений в службу поддержки, спам-детекция.
- Кредитный скоринг: оценка вероятности дефолта, балансировка между отказом хорошим заёмщикам и одобрением плохих.
Преимущества и ограничения
Преимущества: детальная картина ошибок по классам, основа для выбора порога классификации (threshold), незаменима при несбалансированных классах (где accuracy вводит в заблуждение).
Ограничения: при большом числе классов (N>10) матрица становится трудночитаемой, не учитывает вероятности предсказаний (для этого нужны ROC AUC, PR AUC), требует разметки тестовых данных.
Связь с другими понятиями
Confusion matrix является базой для построения ROC-кривой и Precision-Recall кривой. Тесно связана с порогом классификации (threshold) – изменение порога напрямую влияет на соотношение TP/FP/FN/TN. Используется совместно с метриками AUC-ROC для оценки классификаторов. В задачах многоклассовой классификации применяются macro/micro/weighted усреднения метрик. Является стандартным выводом функции sklearn.metrics.confusion_matrix в Python scikit-learn.
