Ядро похоже на волшебное заклинание, которое помогает SVM (машинам опорных векторов) понимать ваши данные. Думайте о SVM как о волшебнике, который пытается предсказать, принадлежит ли новый фрагмент данных к той или иной группе. Мастер должен понимать особенности данных (например, насколько они велики, какого они цвета и т. д.), чтобы сделать точный прогноз.
Но мастер не понимает самих особенностей. Волшебник говорит только на математике, а черты для него просто слова. Здесь вступает в дело ядро. Ядро похоже на переводчик, который превращает функции в язык, понятный мастеру.
Например, допустим, вы хотите предсказать, является ли фрукт яблоком или бананом. Вы можете использовать такие функции, как цвет, размер и текстура фрукта. Но волшебник не понимает этих слов. Поэтому вам нужно использовать ядро, чтобы перевести их в математику.
Одно ядро, которое вы могли бы использовать, — это полиномиальное ядро. Он принимает характеристики фруктов и переводит их в полиномиальное уравнение. Например, если фрукт красный, маленький и неровный, ядро может преобразовать эти характеристики в уравнение x² + y² + z², где x — краснота плода, y — размер, а z — выпуклость.
Волшебник теперь может понять особенности фрукта, потому что они написаны на понятном ему языке — математике! Он может использовать полиномиальное уравнение, чтобы предсказать, является ли фрукт яблоком или бананом.
Типы ядер
Линейное ядро:
Линейное ядро является простейшим ядром и часто используется для линейно разделимых данных. Он работает, проецируя данные в многомерное пространство, используя линейную функцию и вычисляя скалярное произведение между двумя векторами. Это делает его вычислительно эффективным и быстрым для обучения даже на крупномасштабных наборах данных. Линейное ядро также менее склонно к переоснащению, поскольку оно имеет более простую границу решения по сравнению с нелинейными ядрами. Однако он может не подходить для более сложных наборов данных, требующих нелинейных границ решений.
Где x и x' — входные векторы.
Одной из первых и наиболее влиятельных статей по SVM, использующих линейные ядра, является «Алгоритм обучения для оптимальных классификаторов маржи» Владимира Вапника и Алексея Червоненкиса, опубликованный в 1995. В этой статье авторы вводят понятие гиперплоскости с максимальным запасом и показывают, как обучать SVM для поиска гиперплоскости, которая максимизирует запас.
Полиномиальное ядро:
Полиномиальное ядро используется для нелинейно разделимых данных. Он преобразует данные в многомерное пространство, используя полиномиальную функцию. Степень полиномиальной функции можно регулировать, чтобы контролировать сложность границы решения. Полиномы более высокой степени могут привести к переоснащению, поэтому важно выбрать правильную степень для данных. Полиномиальное ядро полезно для наборов данных со сложной геометрией и может использоваться для моделирования изогнутых границ решений.
Формула для полиномиального ядра степени d:
Где x и x’ — входные векторы, а d — степень многочлена.
Одной из наиболее влиятельных статей о методах опорных векторов, в которых используется полиномиальное ядро, является «Классификация опорных векторов и мультиклассификация в наборе данных CIFAR-10» С. А. Хоссейни-Асла и М. С. Багшаха, опубликованная в 2012 г. В этой статье авторы показывают, как использовать SVM с полиномиальным ядром для классификации изображений в наборе данных CIFAR-10.
Ядро радиальной базисной функции (RBF):
Ядро RBF — одно из наиболее часто используемых ядер в SVM. Он преобразует данные в бесконечномерное пространство и полезен для нелинейно разделимых данных. Ядро RBF обладает уникальным свойством, которое позволяет ему представлять пространство признаков как бесконечномерное пространство, что делает его мощным инструментом классификации. Ядро RBF имеет гладкую границу решения, что делает его более устойчивым к шуму и выбросам. Однако обучение на больших наборах данных может быть дорогостоящим в вычислительном отношении, и параметр гаммы необходимо тщательно настраивать, чтобы избежать переобучения.
Формула ядра RBF:
Где x и x' — входные векторы, а gamma — параметр, управляющий гладкостью границы решения.
Одной из наиболее влиятельных статей о SVM, использующих ядро RBF, является «Сети опорных векторов». Коринна Кортес и Владимир Вапник, опубликованная в 1995 году. В этой статье авторы вводят концепцию ядерных машин и показывают, как использовать SVM с ядром RBF для выполнения двоичной классификации.
Сигмовидное ядро:
Сигмовидное ядро используется для данных, которые не являются линейно разделимыми. Он преобразует данные в многомерное пространство, используя сигмовидную функцию. Сигмовидное ядро имеет нелинейную границу решения, которая может моделировать более сложные данные, чем линейное ядро. Он часто используется в нейронных сетях, но также может использоваться в SVM. С сигмовидным ядром возникает та же проблема, что и с полиномиальным ядром, где более высокие степени функции ядра могут привести к переоснащению.
Формула для сигмовидного ядра
Где x и x’ — входные векторы, а alpha и c — параметры.
Одной из наиболее влиятельных статей о SVM, использующих сигмовидное ядро, является «Обучение машин опорных векторов: приложение для обнаружения лиц» Пола Виолы и Майкла Джонса, опубликованное в 2004 году. В этой статье авторы показывают, как использовать SVM с сигмовидным ядром. для обнаружения лиц на изображениях.
Лапласово ядро:
Ядро Лапласа похоже на ядро RBF, но имеет более быстрое затухание. Это полезно для работы с зашумленными данными, поскольку присваивает меньший вес точкам, которые находятся далеко от опорных векторов. Ядро Лапласа имеет более локализованную границу решения по сравнению с ядром RBF, что может быть полезно для наборов данных со сложной геометрией. Однако оно используется реже, чем ядро RBF, и может работать не со всеми наборами данных.
Формула ядра Лапласа:
Где x и x' — входные векторы, а гамма — параметр, управляющий гладкостью границы решения. Тейлора и Нелло Кристианини, опубликованной в 2004 году. В этой книге авторы обсуждают различные типы функций ядра, включая ядро Лапласа, и их применение в анализе закономерностей.
Ядро дисперсионного анализа:
Ядро ANOVA используется для данных, которые взаимодействуют между переменными. Это обобщение полиномиального ядра, учитывающее комбинации признаков более высокого порядка. Ядро ANOVA может моделировать более сложные границы решений, чем полиномиальное ядро, но может быть подвержено переобучению, если степень функции ядра слишком высока.
Формула для ядра ANOVA:
Где x_i и x'_i — i-й признак x и x' соответственно, а gamma_i — параметр, определяющий важность i-го признака.
Одна статья, в которой обсуждается дисперсионный анализ ядром является «Машины опорных векторов с ядром дисперсионного анализа» Иоахима М. Буманна, опубликованное в 2000 году. В этой статье автор представляет ядро дисперсионного анализа и показывает, как его можно использовать для моделирования многомерных данных.
Экспоненциальное ядро:
Экспоненциальное ядро — это еще одно ядро, полезное для нелинейно разделимых данных. Он преобразует данные в многомерное пространство, используя экспоненциальную функцию. Экспоненциальное ядро может моделировать нелинейные границы решений, но оно используется реже, чем ядро RBF, поскольку оно может работать не так хорошо на всех наборах данных. Функцию ядра можно настроить, настроив параметр сигма, чтобы контролировать гладкость границы решения.
Формула экспоненциального ядра хи-квадрат:
Где x_i и x'_i — это i-й бин гистограмм x и x' соответственно, а гамма — это параметр, управляющий гладкостью границы решения.
Одна статья, в которой обсуждается экспоненциальная Ядро хи-квадрата — это «Машины опорных векторов для классификации изображений на основе гистограмм» Симоне Кальдерара и др., опубликованные в 2011 году. В этой статье авторы показывают, как использовать SVM с экспоненциальным ядром хи-квадрат для классификации изображений на основе их гистограммы.
Если вам понравилось мое объяснение, пожалуйста, похлопайте этой статье 👏 и поделитесь ею со своими друзьями и приятелями по учебе 🫂
