Проект llama.cpp представляет собой мощный инструмент для работы с многофункциональными языковыми моделями (LLM), позволяя их запускать на широком спектре аппаратного обеспечения — от потребительских локальных машин до высокопроизводительных серверов для предприятий. Благодаря использованию квантования, оптимизированных бэкендов и портируемой реализации на C/C++, мы делаем доступным ИИ-инференс на всех уровнях программного обеспечения.

Доступность и легкость

С момента своего создания три с половиной года назад проект значительно расширился, и множество приложений уже зависят от нашей работы. Мы уверены, что с ростом значимости локального ИИ и вопросов конфиденциальности в повседневной жизни, эта тенденция будет продолжаться. Каждая новая интеграция означает, что больше разработчиков полагаются на наши интерфейсы библиотек, поэтому наличие гибкого, но стабильного API становится критически важным.

Выпуск версии 1.0.0

Сегодня мы представляем библиотеки версии 1.0.0, подчеркивая нашу ответственность перед разработчиками. В дальнейшем как llama.cpp, так и ggml будут отражать несовместимости API и ABI с увеличением основного номера версии. С ростом популярности мы будем более строго следить за тем, чтобы эти границы были видимы для downstream-пользователей.

Правила семантического версионирования

Для всех проектов ggml-org, использующих семантическое версионирование, применяются следующие правила:

MAJOR: Ломающее изменение в публичном C API в ./include

MINOR: Обратимо совместимая функция, обновления бэкенда, поддержка моделей или добавление API

PATCH: Исправление ошибок без изменения API

Распространение

Мы стремимся расширить способы, которыми программное обеспечение ggml-org распространяется и достигает разработчиков и конечных пользователей. Для получения дополнительной информации о том, как добавить проекты ggml-org в ваши процессы упаковки и выпуска, ознакомьтесь с соответствующей дискуссией.

Каналы и платформы

Предварительные артефакты: Linux, macOS, Windows, Android, iOS

Docker: Linux

Debian: Linux

Homebrew: macOS, Linux

conda-forge: Windows, macOS, Linux

MacPorts: macOS

Winget: Windows

XCFramework: iOS, macOS

Разработка

Проект создал удивительное сообщество с открытым исходным кодом, в которое входят высококвалифицированные и талантливые участники. С учетом быстрого развития возможностей ИИ в области программной инженерии, мы продолжаем адаптировать и интегрировать LLM в наш цикл разработки разумным образом. Поддержание качественной кодовой базы, контроль архитектуры и понимание деталей реализации останутся нашими главными приоритетами. Чтобы ускорить темпы разработки, мы продолжаем инвестировать все больше ресурсов в улучшение инфраструктуры CI, поддерживающей проекты. Благодаря технологиям Hugging Face, таким как HF Buckets и HF Jobs, мы можем масштабировать мощность, необходимую для гарантии корректности каждого изменения, которое попадает в основные ветки.

Поддержка аппаратного обеспечения

Основной движок машинного обучения llama.cpp — ggml — спроектирован для работы практически на любом существующем оборудовании. Это достигается за счет реализации специализированных бэкендов ggml. Каждый бэкенд может быть скомпилирован как динамическая библиотека и, при необходимости, загружен во время выполнения. Полный список текущих реализованных бэкендов можно найти на нашем сайте. Мы привержены обеспечению непрерывной поддержки всех архитектур моделей. В настоящее время llama.cpp поддерживает более 150 вариантов архитектур, а также все основные методы спекулятивного декодирования.

Благодарности

Команда llama.cpp в Hugging Face выражает благодарность за невероятную поддержку со стороны сообщества. Особая благодарность долгосрочным кураторам проекта и всем участникам. Этот значимый этап не был бы возможен без наших совместных усилий!

Дополнительные ресурсы

Примеры использования llama.cpp

ggml-org на Hugging Face

ggml-org на Github

Также ознакомьтесь с настольными приложениями Llama для MacOS и Windows, созданными с любовью командой, стоящей за llama.cpp и Hugging Face.