Большие языковые модели (LLM) и генеративный ИИ, несомненно, меняют нашу жизнь. Меня как практикующего специалиста по машинному обучению часто просили дать совет о том, как начать работу с LLM для тех, у кого практически нет опыта НЛП. Быстрый рост LLM может быть ошеломляющим, но их потенциал изменить нашу жизнь неоспорим.
Поскольку технологии быстро развиваются, этические проблемы, связанные с LLM, растут такими же темпами. Для пользователей крайне важно понять основы технологии и понять их ограничения, чтобы сохранить контроль, а не находиться под их контролем.
🌐 Веб3+ИИ
Я хотел бы думать о LLM как о «демократизированном ИИ», потому что они полагаются на данные, генерируемые всеми. Эти данные могут поступать из различных источников, таких как сообщения в социальных сетях, фрагменты кода, обзоры продуктов, онлайн-сообщества вопросов и ответов, петиции или даже фотографии домашних животных.
С демократизацией данных машинное обучение переходит от централизованного (ограниченного инженерами, учеными и исследователями) к децентрализованному, где его может использовать каждый — аналогично концепции Web3. Мы вступили в эпоху, когда машинное обучение может использоваться людьми повсюду, что открывает передовые возможности.
📚 Рекомендуемые ресурсы:
Работая над написанием моей технической книги, в которой есть глава, посвященная НЛП, я обнаружил много ценных ресурсов для всех, кто хочет узнать больше о LLM:
Обзор
1. Всесторонний обзор ChatGPT. Этот документ является отличной отправной точкой для всех, кто плохо знаком с областью LLM (например, ChatGPT) или ищет всесторонний обзор:
- История ChatGPT и OpenAI
- Модели GPT (основная технология, история моделей, версии)
- Приложения (научное письмо, образование, медицина и т. д.)
- Проблемы (технические ограничения, неправомерное использование, этика, правила)
2. Другие обзорные документы:
- Обзор больших языковых моделей:обзор LLM.
- Модели-трансформеры: введение и каталог: здесь представлен очень полный обзор моделей, связанных с трансформаторами. Что мне больше всего нравится в этой статье, так это то, что она дает очень хорошие графики визуализации и таблицы, иллюстрирующие сравнение различных LLM.
- Всесторонний обзор контента, созданного ИИ (AIGC): история генеративного ИИ от GAN до ChatGPT. В этой статье обсуждаются LLM и другие генеративные модели ИИ, такие как диффузионные модели.
3. Введение в НЛП очень высокого уровня: Полное руководство по обработке естественного языка
Практично
Заинтересованы в обучении или тестировании собственных LLM?
- Hugging Face Model Hub: доступ к предварительно обученным LLM и инструментам для точной настройки. Hugging Face — популярная платформа, предлагающая предварительно обученные LLM и инструменты для тонкой настройки моделей под конкретные задачи. Их Model Hub включает документацию и ресурсы, которые помогут вам начать работу.
- GLUE Benchmark: набор задач обработки естественного языка (NLP), предназначенных для оценки производительности моделей.
- Создание приложений LLM для производства, автор Chip Huyen
- Какие графические процессоры выбрать для глубокого обучения от Tim Dettmers
Глубокое погружение
- Фундаментальные документы:
- «Внимание — это все, что вам нужно»: эта новаторская статья Васвани и др. представляет архитектуру Transformer, которая составляет основу моделей GPT и других LLM.
- The Illustrated Transformer: визуальный справочник Джея Аламмара, этот ресурс поможет вам глубже понять архитектуру Transformer.
- «BERT: предварительное обучение глубоких двунаправленных преобразователей для понимания языка»: эта статья Devlin et al. представляет BERT, еще один влиятельный LLM, заложивший основу для многих последующих моделей. Когда статья была опубликована, модель BERT установила новый эталон практически для всех задач НЛП.
- «Языковые модели — это малоэффективные ученики»: эта статья Брауна и соавт. представляет GPT-3, современный LLM, и демонстрирует его впечатляющие возможности обучения за несколько выстрелов.
2. Серия Чтение бумаги Му Ли (для носителей китайского языка).
На волне успеха
- Будьте в курсе: AlphaSignal.ai — еженедельная сводка лучших исследовательских работ, репозиториев и твитов, определенных моделями ИИ.
- Создайте свой собственный стартап: подумайте о том, чтобы присоединиться к Y Combinator.
🚀 ИИ стартапы и сотрудничество
Это захватывающая эра для стартапов в области ИИ, и мы стремимся изучить возможности сотрудничества. Если вы являетесь экспертом в области LLM или готовы применять современные методы Web3/NLP для реального воздействия, давайте поговорим!
💡 Поделитесь своими ресурсами
Какие другие ресурсы вы нашли полезными в области LLM или о каких других темах вы хотели бы узнать больше? Дайте мне знать, и я добавлю больше в список.
(Спасибо, что дочитали до этого места! Не стесняйтесь репостить/расшаривать эту статью, указывая автора и источник.)
