01. Постановка задачі максимізації зазору
Метод опорних векторів (Support Vector Machine) — це строгий математичний класифікатор, мета якого полягає в пошуку такої роздільної гіперплощини між двома класами, яка максимізує **геометричний зазор (margin)**.
Зазор визначається як відстань від роздільної гіперплощини до найближчих точок обох класів. Ці найближчі критичні точки називаються опорними векторами. Тільки вони визначають межу класифікації; зміна або видалення будь-яких інших об'єктів у вибірці ніяк не впливає на підсумкову площину.
Будь-яка лінійна межа в двовимірному просторі описується вектором ваг \(w\) та зсувом \(b\):
$$\langle w, x \rangle + b = 0$$ Об'єкти класифікуються як \(+1\) (якщо значення виразу більше за нуль) та \(-1\) (якщо значення менше за нуль).
Оптимізаційне завдання
Для пошуку оптимальних параметрів ми мінімізуємо норму ваг:
- • \(C\) — параметр штрафу за помилки регуляризації.
- • \(\xi_i \ge 0\) — слабкі змінні (slack variables) для м'якого зазору (допускають помилкову класифікацію).
Ядровий перехід (Kernel Trick) та нелінійне розділення
Якщо точки на площині неможливо розділити прямою лінією (наприклад, у випадку концентричних кіл або шахової дошки), SVM використовує геніальну ідею — ядровий перехід.
Ми нелінійно відображаємо дані у простір вищої розмірності, де вони стають лінійно роздільними. Проте нам не потрібно явно обчислювати складні координати у новому просторі — достатньо порахувати скалярний добуток за допомогою спеціальних ядрових функцій.
Роль параметра штрафу C
Параметр **C** керує балансом між чистотою розподілу та шириною зазору:
• Мале C (м'який зазор): Модель фокусується на широкому зазорі та ігнорує дрібні помилки. Створює більш стійку, але простішу межу (ризик недонавчання).
• Велике C (жорсткий зазор): Модель намагається ідеально розділити всі точки без помилок. Зазор звужується, а межа адаптується під кожну аномалію (ризик перенавчання).
Роль параметра Gamma (γ) в RBF
Параметр **Gamma (γ)** визначає радіус впливу окремого опорного вектора:
• Мала Gamma: Вплив точок поширюється далеко. Межа буде гладкою та плавною.
• Велика Gamma: Сфера впливу точок дуже мала. Межа розділення створює складні «острівці» навколо кожної точки окремої групи (сильне перенавчання).
Керування SVM
Ви можете переміщувати вже поставлені точки мишкою або тачем прямо на екрані!