Матрица неточностей

Матрица неточностей (confusion matrix) хорошо работает в том случае, если количество классов относительно невелико (не более 100-150 классов): этот подход позволяет довольно наглядно представить результаты работы классификатора. В случае ранговой классификации матрица неточностей также позволяет ввести дополнительные меры ошибки, например, Каппа Коэна.

Матрица неточностей – это матрица, таблица, размера N на N, где N — это количество классов. Столбцы этой матрицы резервируются за экспертными решениями (верными классами), а строки — за решениями классификатора (предсказаниями). При классификации объекта из тестовой выборки увеличивают число, стоящее на пересечении строки класса, который вернул классификатор, и столбца класса, к которому действительно относится объект.

Имея такую матрицу точность и полнота для каждого класса рассчитывается очень просто. Точность равняется отношению соответствующего диагонального элемента матрицы и суммы всей строки класса. Полнота – отношению диагонального элемента матрицы и суммы всего столбца класса. Формально:

Точностьc = Ac,c / ∑Ac,i

Полнотаc = Ac,c / ∑Ai,c

Результирующая точность классификатора рассчитывается как арифметическое среднее его точности по всем классам. То же самое и с полнотой. Технически этот подход называется макро усреднение (macro-averaging).

Видео Матрица неточностей канала Центр digital профессий ITtensive