Представляем Autoencoder, часть 2

В части 1 мы рассмотрели различные компоненты автоэнкодера и кратко рассказали, где можно найти его приложения, включая уменьшение размерности, извлечение признаков и т. д. На самом деле, и вообще говоря, автоэнкодеры во всех своих приложениях извлекают признаки из любого заданные входные слои.

Вот в этой части мы рассмотрим различные типы AE и в процессе ответим на некоторые очень уместные вопросы.

Варианты и типы автоэнкодеров лучше всего понять, если мы рассмотрим концепцию переполнения скрытых слоев в автоэнкодере.

Переполнение скрытых слоев

Давайте взглянем на приведенные ниже типичные сети автоэнкодера.

Мы могли видеть, что есть только три скрытых слоя a1, a2, a3.

Что, если мы увеличим количество скрытых слоев до 8?

Если моя догадка так же хороша, как ваша, то очевидный вопрос в вашем уме — «почему», однако вопрос должен быть «почему бы и нет», в конце концов, AE — это мощный инструмент извлечения признаков, и они черпают свою силу извлечения из скрытых слоев.

Вот вопрос, который вы можете задать

Что, если мы заинтересованы в извлечении дополнительных функций?

Увеличение количества скрытых узлов может помочь нам извлечь больше признаков, однако одной из существенных проблем с этим является проблема переполнения скрытых слоев.

Когда автоэнкодер имеет скрытые слои, которые равны или больше, чем входные слои, будет свободная копия информации от входа к выходу, и, в конце концов, система не извлечет никакой значимой информации.

Тип автокодировщика

Разнообразие решений для свободного потока информации автокодировщиков, вызванное переполнением скрытых слоев, привело к появлению различных типов автокодировщиков, и они следующие:

  • Редкий
  • Шумоподавление
  • Сжимающийся
  • Сложены
  • Глубокий

Здесь мы быстро рассмотрим разреженный, шумоподавляющий и сжимающий AE.

1. Разреженная AE

Это AE, в котором скрытый слой больше, чем входной, однако применяется метод регуляризации, который, таким образом, вносит разреженность.

Вы можете спросить, что такое техника регуляризации.

Регуляризация в глубоком и/или машинном обучении предотвращает переобучение и, таким образом, помогает стабилизировать систему.

В разреженном автоэнкодере он просто вводит функцию потерь; своего рода штраф, который не позволяет AE использовать все свои скрытые слои.

Разреженный AE сжимает или извлекает информацию только в том случае, если он не использует все свои скрытые слои одновременно.

2. Шумоподавление AE

При шумоподавлении AE создается модифицированная версия входных слоев, которая заменяет значения входного узла после случайного обнуления некоторых из них.

X1,x2,x3 и x4 на рис. 2.0 выше — исходный входной узел, который берется и заменяется его модифицированной версией, в которой некоторые значения случайным образом обнулены; затем выходные данные сравниваются с исходными значениями, а не с измененными узлами.

Как правило, 50% входных узлов должны быть установлены в ноль. Шумоподавление зависит от случайной генерации и выбора входных данных, которые будут обнулены.

3. АЭ со сжатием

Он использует весь набор входных данных процесса, проходящий через сеть, затем выходные узлы сравниваются с входными, однако во время обратного распространения сжимающий AE добавляет штраф к функции потерь, который не позволяет системе копировать значения из входных в выходные узлы.

Заключение

Существует несколько вариантов AE, и здесь, в этой статье, мы описали три (3) из них, упомянув два других. Мы смогли установить, что метод регуляризации, применяемый для борьбы с проблемой переполнения скрытых узлов AE, является тем, что приводит к своему типу.