Метод максимального правдоподобия

Запишетесь на полный курс Машинного обучения на Python по адресу support@ittensive.com

Правдоподобие выборки - вероятность получить (среди всех возможных выборок) именно такие входные данные, которые имеются. Фактически, если параметры независимые, это произведение функции вероятности или плотности вероятности для каждого параметра выборки принять его значение в выборке.

Например, если у нас есть выборка из 10 учащихся, то функция правдоподобия выборки будет описывать вероятности, что в выборке 0 девушек, 1 девушка, 2 девушки - и т.д.

Максимизация правдоподобия
Важным практическим использованием правдоподобия выборки является максимизация правдоподобия для фактического значения имеющейся выборки: поскольку событие такой выборки случилось (вероятность его 1), то с помощью функции правдоподобия можно оценить неизвестные параметры априорно известного закона распределения случайной величины.

Для удобства работы с частными производными, которые позволяют находить максимум функции, используют логарифм функции правдоподобия: произведение заменяется суммой.

Линейная регрессия
Для линейной зависимости неизвестной величины от известных параметров применение метода максимального правдоподобия сводится к методу наименьших квадратов.

Использование же Байесовского подхода (максимизация апостериорной вероятности) позволяет получить и L2-регуляризацию.

Бинарная классификация
Важное следствие из метода максимизации правдоподобия заключается в вычислении математических ожиданий событий просто как доли этих событий во всех выборке (среднего арифметического).

Например, если у нас в 10 учащихся 6 девушек, то оценкой доли девушек (например, для предсказания пола следующих студентов) будет именно 0,6 (т.е., скорее всего, следующий студент будет девушкой).

Экспоненциальное распределение
Это будет хорошо работать и для предсказания увеличивающихся интервалов между событиями - если принимаем, что вероятность от времени падает по экспоненциальному закону. Например, на курс записывается 1 человек в день, но иногда приходят и 2 человека, и 5. А в какие-то дни никто не записывается.

Тогда с хорошей точностью число новых учащихся будет описываться экспоненциальным распределением со средним значением 1.

Метод ближайших соседей
Метод максимального правдоподобия положен в основу метода ближайших соседей в задачах классификации: мы ожидаем получить класс неизвестного объекта таким, какой он у большинства соседей.

Наивный Байес
Улучшенный вариант такого подхода используется и в модели наивного Байеса, в которой применяется метод максимизации апостериорной плотности - т.е. берем во внимание предыдущие значения неизвестной величины, и на основе предыдущей истории и фактических значений выборки уже дает классификационный ответ.

Подробнее о практических применениях метода максимального правдоподобия поговорим в соответствующих уроках.

Видео Метод максимального правдоподобия канала Центр digital профессий ITtensive