Лінійна та поліноміальна регресія — Інтерактивна лабораторія

01. Суть регресійного аналізу

Регресійний аналіз — це набір статистичних методів для дослідження зв'язку між залежною змінною (відгуком $y$) та однією або кількома незалежними змінними (предикторами $x$).

На відміну від класифікації, де ми намагаємося передбачити дискретні класи (наприклад, "Спам" чи "Ні"), регресія моделює безперервні числові значення (ціни на житло, температуру повітря, об'єм продажів тощо).

Метод найменших квадратів (МНК / Ordinary Least Squares):
Найпоширеніший спосіб пошуку оптимальних параметрів регресії. Його суть полягає в мінімізації суми квадратів відстаней (залишків) між реальними точками та побудованою лінією регресії: $$\min_{\beta} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

Лінійний зв'язок

Формула прямої лінійного прогнозу $$\hat{y} = \beta_0 + \beta_1 x$$

Де $\beta_1$ — кутовий коефіцієнт (нахил лінійного тренду), а $\beta_0$ — вільний член (перетин з віссю $y$).

Поліноміальна регресія та криволінійні тренди

Коли зв'язок між ознаками не є прямолінійним, звичайна лінія даватиме великі помилки. У цьому випадку використовують поліноміальну регресію.

Ми розширюємо вхідні ознаки, додаючи їхні вищі ступені. Для полінома ступеня $d$ модель має вигляд: $$\hat{y} = \beta_0 + \beta_1 x + \beta_2 x^2 + \beta_3 x^3 + \dots + \beta_d x^d$$

Незважаючи на криволінійність графіка, модель все одно залишається лінійною регресією відносно своїх коефіцієнтів $\beta$, що дозволяє знайти її параметри за допомогою стандартного аналітичного розв'язку (через нормальне рівняння матриць).

Основні ступені поліномів:

• $d=1$: Лінійна регресія
• $d=2$: Квадратична парабола
• $d=3$: Кубічний поліном
• $d \ge 4$: Поліноми вищих порядків

Небезпека перенавчання (Overfitting)

Чим вищий ступінь полінома $d$, тим гнучкішою стає крива регресії. При дуже великому значенні $d$ модель починає підлаштовуватися під кожну випадкову флуктуацію або шум у даних (перенавчання).

Така модель показуватиме ідеально малу помилку на навчальних даних, але повністю провалиться при прогнозуванні нових значень, оскільки вона вивчила шум, а не реальний тренд.

Регуляризація Тихонова (Ridge L2)

Щоб стримувати «шалені коливання» полінома високих ступенів, використовують регуляризацію. **Ridge-регуляризація ($L2$)** додає до функції втрат штраф за великі значення коефіцієнтів: $$\text{Loss} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{d} \beta_j^2$$ Параметр штрафу $\lambda$ змушує криву бути плавнішою, штрафуючи модель за надмірно круті вигини, що чудово запобігає перенавчанню.

Параметри моделі

Ступінь полінома (Degree d): 1

1 (Лінійна) 2 3 4 5 (Складна)

Штраф регуляризації Ridge ($\lambda$): 0

Вимкнено (0) Макс. штраф (0.1)

Показувати залишки (резидуали) Показувати координатну сітку

Генерація базових закономірностей:

Клікніть мишкою по площині справа, щоб додати власні експериментальні точки, або перетягуйте наявні точки.

Інтерактивний графік регресії

Точок: 0

Коефіцієнт детермінації R²

0.00

Точність моделі (макс. 1.0)

Середньоквадратична помилка (MSE)

0.0000

Сума квадратів відхилень

Середня абсолютна помилка (MAE)

0.0000

Помилка у масштабі даних

Побудоване математичне рівняння регресії

$$y = f(x)$$

Як аналізувати це рівняння:

Коефіцієнти перед ступенями показують вагу впливу кожної ознаки. Завдяки Ridge-регуляризації значення коефіцієнтів утримуються від вибухового росту, що робить функцію стабільнішою.