- DyG2Vec: обучение представлению динамических графов с самоконтролем(arXiv)
Автор: Мохаммад Али Аломрани, Махди Бипарва, Инсюэ Чжан, Марк Коутс
Аннотация. Задача обучения на динамических графах для задач прогнозирования заключается в извлечении мелких временных мотивов из постоянно меняющегося графа. Кроме того, метки задач часто бывают дефицитными, дорогостоящими и сильно несбалансированными для больших динамических графов. Недавние достижения в обучении с самоконтролем на графах демонстрируют большой потенциал, но сосредоточены на статических графах. Современные модели (SoTA) для динамических графов не только несовместимы с парадигмой обучения с самоконтролем (SSL), но и не могут предсказать взаимодействие за пределами самого ближайшего будущего. Чтобы устранить эти ограничения, мы представляем DyG2Vec, совместимую с SSL эффективную модель обучения представлению на динамических графах. DyG2Vec использует оконный механизм для создания вложений узлов, не зависящих от задач, которые можно использовать для прогнозирования будущих взаимодействий. DyG2Vec значительно превосходит базовые показатели SoTA по эталонным наборам данных для последующих задач, при этом требуя лишь часть времени обучения/логического вывода. Мы адаптируем два механизма оценки SSL, чтобы сделать их применимыми к динамическим графам, и тем самым показать, что предварительное обучение SSL помогает изучить более надежные представления временных узлов, особенно для сценариев с небольшим количеством меток.
2. Выделение может быть всем, что вам нужно в контрастном самоконтролируемом обучении(arXiv)
Автор: Вейсель Коджаман, Офер М. Шир, Томас Бэк, Ахмед Набиль Белбачир
Аннотация: мы предлагаем дополнительную политику для контрастного обучения с самоконтролем (SSL) в форме уже установленного метода сегментации заметного изображения под названием «Обнаружение заметной области на основе глобального контраста». Этот метод обнаружения, который был разработан для несвязанных задач компьютерного зрения, как было установлено эмпирически, играет роль посредника расширения в протоколе SSL. Это наблюдение основано на наших практических попытках изучить с помощью SSL-моды аэрофотоснимки солнечных батарей, которые демонстрируют сложные граничные узоры. После успешной интеграции этой методики в нашу проблемную область мы сформулировали обобщенную процедуру и провели всестороннюю систематическую оценку производительности с различными алгоритмами Contrastive SSL с учетом стандартных методов расширения. Эта оценка, проведенная для нескольких наборов данных, показала, что предлагаемый метод действительно способствует SSL. Мы выдвигаем гипотезу о том, может ли сегментация заметного изображения быть достаточной в качестве единственной политики расширения в Contrastive SSL при решении задач сегментации нисходящего потока.
3.Консолидация эластичных весов повышает надежность самоконтролируемых методов обучения при переносе(arXiv)
Автор: Андрюс Овсианас, Джейсон Рамапурам, Дэн Басбридж, Ишан Гюнеш Декане, Расс Уэбб
Аннотация . Методы самоконтролируемого обучения представлению (SSL) обеспечивают эффективное начальное условие без меток для тонкой настройки последующих задач. Однако во многих реалистичных сценариях последующая задача может быть предвзятой по отношению к целевому распределению меток. Это, в свою очередь, отодвигает обученную точно настроенную модель назад от исходной (маркированной) свободной от смещения модели с самоконтролем назад. В этой работе мы заново интерпретируем тонкую настройку SSL с точки зрения байесовского непрерывного обучения и рассматриваем регуляризацию с помощью структуры Elastic Weight Consolidation (EWC). Мы демонстрируем, что саморегуляция по сравнению с первоначальной магистралью SSL улучшает производительность худшей подгруппы в Waterbirds на 5% и Celeb-A на 2% при использовании архитектуры ViT-B/16. Кроме того, чтобы упростить использование EWC с SSL, мы предварительно вычисляем и публикуем информационную матрицу Fisher (FIM), оцененную с помощью 10 000 вариантов ImageNet-1K, оцененных на больших современных архитектурах SSL, включая ViT-B/16 и ResNet50, обученных с помощью ДИНО
