Метод наименьших квадратов (least squares)

Пусть имеется набор значений $y_i$, каждое из которых соответствует некоторому моменту времени $t_i (i = 1, 2,…, N)$. Требуется найти зависимость $y = f(t)$, которая наилучшим образом описывала бы поведение таких дискретных данных.

Метод наименьших квадратов утверждает, что в некотором классе функций таким “наилучшим” описанием является функция (кривая), сумма квадратов отклонений которой от заданных (известных, скажем, в результате проведения эксперимента) точек $y_i$ является минимальной. Т.е.

Более того, доказывается, что такая кривая является единственной в рассматриваемом классе. Поэтому говоря об этом методе, мы должны указывать в каком классе ищется решение. В принципе, одни и те же данные мы можем описать разными функциями с помощью одного и того же метода.

Здесь мы будем искать решение в классе линейных функций (прямая): $y = at + b$. Тогда условие (1) можно записать в следующем виде

Необходимым условием существования минимума является равенство нулю двух частных производных по $a$ и $b$ соответственно:

В обозначениях

и замечая, что

систему двух уравнений можно переписать в виде

Решая эту систему двух линейных уравнений относительно $a$ и $b$, получим