В 2017 году исследователи из Google представили революционную статью "Внимание — это всё, что вам нужно", в которой описали новый тип нейронной сети под названием трансформер. Эта технология оказалась крайне эффективной для обработки длинных последовательностей данных, особенно текста. Спустя девять лет трансформеры стали основой всех крупных языковых моделей (LLM) на рынке. По словам Джастина Дангела, соучредителя и CEO стартапа Subquadratic, "вся индустрия ИИ построена на трансформерах". Однако, несмотря на их успех, трансформеры начинают демонстрировать свои ограничения.

Проблемы трансформеров

Ключевая сила трансформеров заключается в механизме плотного внимания, который кодирует смысл блока текста в виде чисел. Этот процесс включает сравнение каждого слова (или токена) в тексте с каждым другим словом, что требует огромного количества вычислений. Например, документ длиной 10,000 слов может потребовать 50 миллионов умножений. Это и является основной причиной, по которой LLM требуют значительных вычислительных ресурсов. Ожидается, что OpenAI потратит 50 миллиардов долларов на вычисления в этом году, а Международное энергетическое агентство прогнозирует, что общее потребление электроэнергии дата-центрами удвоится к 2030 году. Трансформеры также испытывают трудности с выполнением более сложных задач, требующих обработки больших объемов данных. Например, современные модели, такие как модели рассуждений, работают, записывая заметки для себя, что увеличивает объем данных, которые необходимо отслеживать. В результате, с увеличением размеров LLM, трансформеры становятся узким местом.

Новые идеи для решения проблем трансформеров

Существует несколько инновационных подходов, которые могут изменить LLM, сделав их быстрее и эффективнее:

1. Переосмысление внимания

Одним из очевидных способов ускорить LLM является изменение механизма внимания. Замена плотного внимания на разреженное внимание, которое выполняет вычисления только для некоторых пар слов, может значительно снизить вычислительные затраты. Стартап Subquadratic утверждает, что разработал первое разреженное внимание, которое сопоставимо с ведущими LLM по ряду задач, включая поиск и кодирование. Их модель, SubQ, определяет, какие слова важны, а какие нет, в режиме реального времени. Другой стартап, Manifest AI, предлагает альтернативный подход, заменяя внимание на механизм под названием "удержание мощности". Этот механизм хранит только наиболее релевантную информацию для конкретной задачи, что позволяет избежать перегрузки данных.

2. Уменьшение и гибкость моделей

Liquid AI, основанный на MIT, разрабатывает модели, которые сочетают трансформеры с жидкими нейронными сетями, создавая так называемые жидкие фундаментальные модели (LFM). Эти модели значительно меньше и требуют меньше энергии, что позволяет им работать на маломощных устройствах, таких как Raspberry Pi. Liquid AI уже достигла почти 34 миллионов загрузок своих моделей, которые доступны бесплатно для организаций с годовым доходом менее 10 миллионов долларов.

3. Генерация текста сразу

Большинство LLM генерируют текст по одному слову за раз, что неэффективно. Стартап Inception использует метод диффузии, который позволяет генерировать текстовые блоки сразу, что делает процесс более быстрым и экономичным. Эта технология, ранее использовавшаяся для генерации изображений, была адаптирована для работы с текстом, что позволило Inception создать модели, которые в 10 раз быстрее, чем аналогичные LLM.

4. Выход за пределы слов

Стартап Pathway стремится освободить LLM от языковых ограничений. Их модель Dragon Hatchling продемонстрировала выдающиеся результаты в решении сложных задач, таких как судоку. Вместо того, чтобы полагаться на текст, Pathway использует математическую структуру, называемую пространством состояний, что позволяет модели обрабатывать и производить текст, а также имитировать формы рассуждений, не зависящие от последовательностей слов.

Заключение

Несмотря на то, что трансформеры стали основой современных языковых моделей, их ограничения становятся все более очевидными. Новые подходы, такие как разреженное внимание, удержание мощности, жидкие нейронные сети и методы генерации текста, обещают изменить ландшафт ИИ, делая модели более быстрыми, эффективными и способными справляться с более сложными задачами. Будущее LLM выглядит многообещающим, и, возможно, мы находимся на пороге новой эры в области искусственного интеллекта.