Метод наименьших квадратов

Запишетесь на полный курс Машинного обучения на Python по адресу support@ittensive.com

Предположим, что у нас есть данные некоторых измерений, наблюдений или просто пары значения - переменные x и y. Выявим линейную взаимосвязь между этими переменными.

Построим эти пары значений, точки (xi; yi), в прямоугольной системе координат и подберем прямую, которая ближе всего расположена к этим точкам. Согласно методу наименьших квадратов линия выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной.

МНКЕсли принять уравнение прямой за y = a + bx, то нужно минимизировать сумму расстояний между каждой точкой наблюдения и этой линией, сумму следующих выражений:
(yi - y)^2 = (yi - bxi - a)^2

На практике берут квадраты расстояний, чтобы дополнительно не извлекать квадратный корень: минимум и корней, и квадратов корней будет находиться в одном значении (a; b).

Хорошая новость заключается в том, что у это задачи есть единственное решение - единственная прямая, минимально удаленная от точек наблюдения. Для нахождения коэффициентов a и b нужно будет взять частные производные от суммы квадратов и приравнять их нулю, итоговые значения выглядят так:

Коэффициенты МНК

Смысл метода наименьших квадратов
Коэффициент b указывает на характер связи (зависимости) переменной y от x: если b больше 0 - то связь прямая, если b меньше 0 - обратная.

Коэффициент a говорит об "остаточном" значении переменной y при отсутствии x (x = 0).

Найденное уравнение является уравнением линейной регрессии y от x и может использоваться для прогнозирования значения зависимой переменной - y - при линейной экстраполяции.

Видео Метод наименьших квадратов канала Центр digital профессий ITtensive