Метод наименьших квадратов регрессия

Метод наименьших квадратов (МНК) заключается в том, что сумма квадратов отклонений значений y от полученного уравнения регрессии — минимальное.  Уравнение линейной регрессии имеет вид

y=ax+b

a, b – коэффициенты линейного уравнения регрессии;

x – независимая переменная;

y – зависимая переменная.

Нахождения коэффициентов уравнения линейной регрессии через метод наименьших квадратов:

Метод наименьших квадратов функция

частные производные функции приравниваем к нулю

Метод наименьших квадратов уравнение

отсюда получаем систему линейных уравнений

уравнение линейной регрессии

Формулы определения коэффициентов уравнения линейной регрессии:

формулы коэффициентов линейной регрессии

Также запишем уравнение регрессии для квадратной нелинейной функции:

Уравнение регрессии полинома формула

Система линейных уравнений регрессии полинома n-ого порядка:

уравнение регрессии полинома n-ого порядка формула

Формула коэффициента детерминации R2:

коэффициент детерминации формула

Формула средней ошибки аппроксимации для уравнения линейной регрессии (оценка качества модели):

средняя ошибка аппроксимации уравнения линейной регрессии

Чем меньше ε, тем лучше. Рекомендованный показатель ε<10%


Для примера, проведём расчет для получения линейного уравнения регрессии аппроксимации функции, заданной в табличном виде:

x y
3 4
4 7
6 11
7 16
9 18
11 22
13 24
15 27
16 30
19 33

Решение

Расчеты значений суммы, произведения x и у приведены в таблицы.

таблица расчет линейной регрессии

Расчет коэффициентов линейной регрессии:

расчет коэффициентов линейной регрессии

при этом средняя ошибка аппроксимации равна:

ε=11,168%

Получаем уравнение линейной регрессии с помощью метода наименьших квадратов:

y=1,7871x+0,79

График функции линейной зависимости y=1,7871x+0,79 и табличные значения, в виде точек

график линейной регрессии метод наименьших квадратов

Коэффициент корреляции равен 0,988

Коэффициента детерминации равен  0,976

Leave a Reply

Ваш e-mail не будет опубликован.