Mistral запустила публичное превью ИИ-модели с 1 трлн параметров

Французская Mistral AI представила Mistral Large 4 — мультимодальную модель с 1,05 трлн параметров и открытыми весами. Компания позиционирует ее как конкурента ведущим американским и китайским нейросетям и делает ставку на программирование, кибербезопасность и корпоративные задачи.

Mistral Large 4 построена на архитектуре Mixture of Experts (MoE). Несмотря на 1,05 трлн параметров, при обработке запроса активны около 49 млрд. Модель также оснащена отдельным визуальным энкодером на 1,6 млрд параметров и поддерживает контекст до 1 млн токенов.

Компания заявляет, что Large 4 входит в число самых производительных open-weight моделей и заметно сокращает разрыв с закрытыми системами. Mistral также утверждает, что новая модель превосходит некоторые китайские открытые решения, в частности, в задачах кибербезопасности. Независимые результаты, подтверждающие эти заявления, компания не представила.

Обучение на 4 000 ускорителях Nvidia

Mistral обучала Large 4 самостоятельно — примерно два месяца на инфраструктуре в европейских дата-центрах компании. Для обучения использовали около 4 000 GPU NVIDIA Grace Blackwell.

Модель ориентирована на широкий набор задач: программирование, кибербезопасность, финансы, геопространственный анализ, производство и проектирование продуктов. По словам компании, Large 4 также способна помогать с разработкой компьютерных чипов.

При этом Mistral делает особый акцент на агентских сценариях и задачах, где модели приходится работать с большими объемами информации и выполнять последовательность действий.

Открытые веса вместо закрытой модели

Одно из главных отличий Large 4 от моделей OpenAI и Anthropic — открытые веса. После релиза разработчики смогут самостоятельно запускать модель и адаптировать ее под свои задачи, не передавая данные внешнему поставщику закрытого ИИ.

Сейчас Large 4 доступна в режиме публичного превью. Полный релиз весов запланирован на 27 октября. До этого Mistral предоставляет ранний доступ разработчикам, специалистам по кибербезопасности и государственным организациям для тестирования модели.

Компания отдельно проверяет модель на способность выходить за пределы заданной среды. По словам представителей Mistral, во время тестов Large 4 предпринимала такие попытки, но программные ограничения позволили их остановить.

Европейский ответ OpenAI, Anthropic и китайским моделям

Выход Large 4 происходит на фоне нового витка конкуренции в сегменте open-weight моделей. Китайские компании Alibaba, Z.ai, Moonshot и DeepSeek в последнее время заметно усилили позиции, тогда как западные разработчики традиционно лидировали в закрытых моделях.

Теперь Mistral пытается занять промежуточную позицию: предложить модель уровня передовых систем, но оставить пользователям контроль над ее весами и инфраструктурой, отмечает TechCrunch.

Сама компания рассматривает релиз как важный шаг после недавнего раунда финансирования на €3 млрд, который поднял оценку Mistral выше $24 млрд. Среди новых инвесторов — Samsung Electronics.

Напомним, 5 октября поддерживаемый Nvidia американский стартап Reflection AI выпустил свою первую open-weight модель с 501 млрд параметров.