Mistral Large 4, также известная как Le Chonk, представляет собой многомодальную, многоязычную модель Mixture-of-Experts (MoE) от компании Mistral. Эта модель принимает текст и изображения в качестве входных данных и генерирует текстовые ответы. С общим количеством параметров около 1 триллиона и активными 49 миллиардами параметров, она имеет контекстное окно в 1 миллион токенов. Модель выпущена в двух официальных вариантах: FP8 и NVFP4, а также доступны GGUF, созданные командой Unsloth и llama.cpp. Распространяется она по лицензии Mistral Ecosystem Open-Weight License, которая является производной от MIT и устанавливает ограничения для предложений модели как услуги.

Что нового в Mistral Large 4

Mistral Large 4 сочетает в себе большой пул экспертов с разреженным вниманием и визуальным энкодером Pixtral. Языковая модель выбирает небольшую группу экспертов для каждого токена, в то время как индексатор внимания определяет, на какие предыдущие позиции токенов следует обращать внимание. Эти два типа разреженности позволяют более эффективно обрабатывать информацию.

Возможности в области кибербезопасности

Mistral Large 4 продемонстрировала впечатляющие результаты в тестах на кибербезопасность, набрав 82% на тесте Artificial Analysis Cyber Index, который требует от модели воспроизвести реальную уязвимость в открытом программном обеспечении и затем исправить её. Mistral сообщает, что несколько закрытых моделей на границе технологий показывают почти нулевые результаты на том же тесте, поскольку отказываются выполнять эту задачу. Это имеет критическое значение для специалистов по безопасности, так как исправление уязвимости обычно требует её воспроизведения. Внутренние тестирования показали, что Mistral Large 4 также полезна для анализа вредоносного ПО, приоритизации уязвимостей и написания правил обнаружения, что не входило в её первоначальную подготовку. Модель в первую очередь позиционируется для работы в области защитной безопасности. Исследование уязвимостей и реагирование на инциденты часто выглядят как атаки в вводимых данных модели, поэтому закрытые фильтры могут блокировать их. Открытые модели, такие как Mistral Large 4, предоставляют пользователям контроль над политикой использования и развертыванием.

Архитектура

Текстовый декодер Mistral Large 4 состоит из 72 слоев, с скрытым размером 6144 и 64 головами внимания. Его блоки внимания объединяют Multi-head Latent Attention (MLA) с индексатором DeepSeek Sparse Attention (DSA). MLA сохраняет сжатое представление KV, а DSA выбирает до 2048 ключевых позиций для каждого запроса. В модели используется схема RoPE, где три слоя декодера используют RoPE, а каждый четвертый слой применяет NoPE. Первая декодирующая слой использует плотную сеть прямого распространения, в то время как остальные 71 слой используют блоки MoE, где маршрутизатор softmax выбирает четырех из 128 экспертов для каждого токена.

Результаты бенчмаркинга

Mistral Large 4 демонстрирует сильные результаты в бенчмарках по кодированию, кибербезопасности, многомодальному пониманию и агентным рабочим процессам. На момент 29 октября 2026 года модель занимает пятое место среди моделей открытых весов в индексе Artificial Analysis Intelligence. В области кодирования ML4 достигает 61.7% на DeepSWE v1.1, 59.4% на SWE-Atlas-QnA и 28.3% на Terminal-Bench 4. В области кибербезопасности модель показывает выдающиеся результаты, включая 93% успешного решения задач из набора вызовов Cybench, что подтверждает её эффективность в реальных условиях.

Поддержка вывода

Mistral Large 4 поставляется с поддержкой для transformers, vLLM и llama.cpp. GGUF кванты доступны от команды GGUF и llama.cpp. Модель можно развернуть удаленно с помощью Inference Endpoints, а также использовать серверный вывод через Inference Providers. В реализации Transformers предусмотрен AutoModelForMultimodalLM, который позволяет обрабатывать текстовые и визуальные входные данные.

Dell Enterprise Hub

Для пользователей серверов Dell AI (NVIDIA H200, B200, GB200 или GB300) предусмотрена установка dell-ai CLI, которая упрощает развертывание Mistral Large 4 на соответствующих узлах.

Попробуйте сами

Вы можете получить веса из коллекции Mistral Large 4, запустить их локально с помощью GGUF или развернуть их с помощью Inference Endpoints. Мы с нетерпением ждем, что вы создадите с Le Chonk. Делитесь своими доработками, кванты и другими артефактами на платформе!