Разработчик-одиночка под ником JustVugg представил Colibri — уникальный движок, который позволяет запускать открытую модель GLM-5.2 с 744 миллиардами параметров на стандартном компьютере с 25 ГБ оперативной памяти. Это достижение выглядит особенно впечатляюще на фоне того, что даже 2-битный квант моделей этого семейства требует порядка 220 ГБ памяти. На момент написания статьи проект уже собрал более двух тысяч звезд на GitHub, что говорит о растущем интересе к его возможностям.

GLM-5.2: мощь открытой модели

GLM-5.2 является флагманской открытой моделью китайской компании Z.ai. Она обладает внушительными 744 миллиардами параметров, из которых около 40 миллиардов активны на токен, а контекст может достигать миллиона токенов. На кодинг-бенчмарках GLM-5.2 демонстрирует выдающиеся результаты и считается одной из сильнейших открытых моделей, способной конкурировать с закрытыми аналогами, такими как Opus 4.8 и GPT-5.5.

Проблемы традиционного подхода

Традиционно, чтобы запустить такие большие модели, все их веса должны находиться в оперативной памяти одновременно, что требует сотни гигабайт. Это создает серьезные ограничения для пользователей, у которых нет доступа к мощным серверам или облачным решениям. JustVugg, анализируя эту проблему, нашел решение в архитектуре MoE (Mixture of Experts).

Архитектура MoE и ее преимущества

Ключевое наблюдение автора Colibri заключается в том, что в MoE-архитектуре от токена к токену реально изменяется лишь малая часть задействованных весов. Плотная часть модели, включающая внимание, эмбеддинги и общие эксперты, составляет около 17 миллиардов параметров и постоянно находится в памяти в формате int4, занимая всего 9,9 ГБ. Остальные 21 504 маршрутизируемых эксперта, каждый из которых занимает примерно 19 МБ, хранятся на NVMe-накопителе (объем около 370 ГБ) и подгружаются по мере необходимости. Это позволяет значительно сократить объем требуемой оперативной памяти, не жертвуя при этом качеством модели.

Эффективность работы с токенами

При обработке каждого нового токена модель опрашивает 8 экспертов в каждом из 75 MoE-слоев. Однако важно отметить, что без прогретого кэша один токен может потребовать примерно 11 ГБ данных, прочитанных с диска. Это поднимает вопрос о долговечности NVMe-накопителей, так как частые обращения могут привести к их износу.

Заключение

Colibri представляет собой значительный шаг вперед в области работы с большими языковыми моделями, позволяя запускать их на обычных компьютерах. Это открывает новые возможности для разработчиков и исследователей, которые могут теперь использовать мощные инструменты без необходимости в дорогостоящем оборудовании. Важно следить за дальнейшим развитием проекта и его влиянием на сообщество.