Новая эра обновлений Google: как модель обучения меняет правила игры


С 27 октября 2025 года в научной среде активно обсуждается новая методология, представленная исследователями Google Али Бехрузом и Вахабом Миррокни. Эта методология, названная sleep framework, предполагает, что языковая модель получает запланированную оффлайн-фазу, в которой она перемещает информацию, полученную во время использования, в свои долгосрочные веса, а затем репетирует на данных, которые генерирует сама. Однако, несмотря на вирусное распространение информации о том, что модель становится "умнее", важно понимать, что метод работает в рамках фиксированной архитектуры под контролем человека, и ничего не изменяется без надзора.

Двухфазный жизненный цикл модели

В соответствии с опубликованными данными, метод sleep framework включает в себя два этапа: активный и спящий. Во время активной фазы модель принимает входные данные и удерживает новую информацию в быстром, краткосрочном памяти, что соответствует тому, как работает контекст в современных моделях. В спящей фазе модель прекращает принимать входные данные и проходит через два этапа. 1. Консолидация: Модель активирует ранее неактивные низкоранговые эксперты внутри структуры смешанных экспертов, назначает их на медленно обновляющиеся блоки памяти и дистиллирует краткосрочные следы в них через процесс, который авторы называют "seeding knowledge". Это означает, что новые факты получают свои собственные свежие параметры, а временные параметры сбрасываются для повторного использования. 2. Сновидение: Модель генерирует синтетические образцы, случайным образом маршрутизируя информацию через своих экспертов, чтобы смешивать знания из разных областей, фильтрует эти образцы с помощью градиентного метода выбора и дообучает те, которые прошли отбор.

Результаты экспериментов

Результаты, представленные в исследовании, были получены в четырех условиях:
  • Последовательный перевод на языки, которые модель никогда не видела, где стандартные методы дообучения и контекстного обучения забывали ранее изученные языки, а модель sleep показала почти нулевое снижение производительности.
  • Восприятие на длинном контексте до десяти миллионов токенов.
  • Инкорпорация фактических знаний из документальных фрагментов, где модель sleep превзошла методы контролируемого обучения и предшествующий метод саморедактирования.
  • Математическое рассуждение на открытой базе модели с 8 миллиардами параметров.
  • Долгосрочные изменения в памяти модели

    Важно отметить, что опубликованная работа не является продуктом, и в посте не содержится информации о развертывании или сроках. Эксперименты проводились на открытых моделях Qwen с 1.7 и 8 миллиардами параметров, а не на Gemini. Также не сообщается о вычислительных затратах на цикл сна, и никто за пределами команды не воспроизводил результаты. Новые факты поступают в виде документов, а не в виде пользовательских разговоров или веб-страниц, что делает утверждения о том, что модель учится на ваших чатах, неуместными.

    Последствия для бизнеса

    С введением sleep framework, модель будет обновлять свои долгосрочные знания на циклической основе. Это означает, что факты, которые модель считает верными, могут изменяться без каких-либо анонсов. Важно понимать, что консолидация является селективной: модель не обязана копировать каждую деталь из своих краткосрочных следов в параметры, а отбор фактов происходит на основе градиентной фильтрации. Это создает три основные последствия: 1. Отбор фактов: Модель будет предпочитать факты, которые согласуются с другими источниками, что может привести к искажению информации о компании. 2. Синтетические данные: Модель может репетировать на данных, которые никогда не публиковались, что может изменить представление о компании без новых входных данных. 3. Окно консолидации: Существует временной интервал, в течение которого исправление факта возможно, прежде чем он станет частью долговременной памяти модели. Это создает риск, что неверные факты могут быть закреплены.

    Рекомендации для компаний

    В условиях новых реалий, компании должны адаптироваться к изменениям в модели Google:
  • Аудит информации: Провести аудит уже имеющейся информации о компании на различных платформах.
  • Публикация фактов: Создать канонические страницы фактов, чтобы обеспечить консистентность информации.
  • Мониторинг изменений: Переходить от анализа событий к мониторингу трендов, фиксируя изменения в ответах на регулярной основе.
  • Таким образом, sleep framework представляет собой значительное изменение в подходе Google к обновлению знаний, и компании должны быть готовы к новым вызовам, связанным с изменениями в восприятии их информации.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!