
С 27 октября 2025 года в научной среде активно обсуждается новая методология, представленная исследователями Google Али Бехрузом и Вахабом Миррокни. Эта методология, названная sleep framework, предполагает, что языковая модель получает запланированную оффлайн-фазу, в которой она перемещает информацию, полученную во время использования, в свои долгосрочные веса, а затем репетирует на данных, которые генерирует сама. Однако, несмотря на вирусное распространение информации о том, что модель становится "умнее", важно понимать, что метод работает в рамках фиксированной архитектуры под контролем человека, и ничего не изменяется без надзора.
Двухфазный жизненный цикл модели
В соответствии с опубликованными данными, метод sleep framework включает в себя два этапа: активный и спящий. Во время активной фазы модель принимает входные данные и удерживает новую информацию в быстром, краткосрочном памяти, что соответствует тому, как работает контекст в современных моделях. В спящей фазе модель прекращает принимать входные данные и проходит через два этапа.
1.
Консолидация: Модель активирует ранее неактивные низкоранговые эксперты внутри структуры смешанных экспертов, назначает их на медленно обновляющиеся блоки памяти и дистиллирует краткосрочные следы в них через процесс, который авторы называют "seeding knowledge". Это означает, что новые факты получают свои собственные свежие параметры, а временные параметры сбрасываются для повторного использования.
2.
Сновидение: Модель генерирует синтетические образцы, случайным образом маршрутизируя информацию через своих экспертов, чтобы смешивать знания из разных областей, фильтрует эти образцы с помощью градиентного метода выбора и дообучает те, которые прошли отбор.
Результаты экспериментов
Результаты, представленные в исследовании, были получены в четырех условиях:
Последовательный перевод на языки, которые модель никогда не видела, где стандартные методы дообучения и контекстного обучения забывали ранее изученные языки, а модель sleep показала почти нулевое снижение производительности.
Восприятие на длинном контексте до десяти миллионов токенов.
Инкорпорация фактических знаний из документальных фрагментов, где модель sleep превзошла методы контролируемого обучения и предшествующий метод саморедактирования.
Математическое рассуждение на открытой базе модели с 8 миллиардами параметров.
Долгосрочные изменения в памяти модели
Важно отметить, что опубликованная работа не является продуктом, и в посте не содержится информации о развертывании или сроках. Эксперименты проводились на открытых моделях Qwen с 1.7 и 8 миллиардами параметров, а не на Gemini. Также не сообщается о вычислительных затратах на цикл сна, и никто за пределами команды не воспроизводил результаты. Новые факты поступают в виде документов, а не в виде пользовательских разговоров или веб-страниц, что делает утверждения о том, что модель учится на ваших чатах, неуместными.
Последствия для бизнеса
С введением sleep framework, модель будет обновлять свои долгосрочные знания на циклической основе. Это означает, что факты, которые модель считает верными, могут изменяться без каких-либо анонсов. Важно понимать, что консолидация является селективной: модель не обязана копировать каждую деталь из своих краткосрочных следов в параметры, а отбор фактов происходит на основе градиентной фильтрации. Это создает три основные последствия:
1.
Отбор фактов: Модель будет предпочитать факты, которые согласуются с другими источниками, что может привести к искажению информации о компании.
2.
Синтетические данные: Модель может репетировать на данных, которые никогда не публиковались, что может изменить представление о компании без новых входных данных.
3.
Окно консолидации: Существует временной интервал, в течение которого исправление факта возможно, прежде чем он станет частью долговременной памяти модели. Это создает риск, что неверные факты могут быть закреплены.
Рекомендации для компаний
В условиях новых реалий, компании должны адаптироваться к изменениям в модели Google:
Аудит информации: Провести аудит уже имеющейся информации о компании на различных платформах.
Публикация фактов: Создать канонические страницы фактов, чтобы обеспечить консистентность информации.
Мониторинг изменений: Переходить от анализа событий к мониторингу трендов, фиксируя изменения в ответах на регулярной основе.
Таким образом, sleep framework представляет собой значительное изменение в подходе Google к обновлению знаний, и компании должны быть готовы к новым вызовам, связанным с изменениями в восприятии их информации.
Комментарии (0)