TypeSafe, основанная одним из соучредителей ChatGPT, Диого Алмейдой, вышла из режима скрытого тестирования и представила свою модель Jev, предназначенную для автоматизации программных решений с использованием архитектуры параллельного выборки. Эта разработка позволяет программным системам, требующим автоматизированной детерминированной логики, обойти традиционные языковые модели.

Что такое Jev?

Модель Jev, разработанная в течение двух лет в условиях секретности, представляет собой специализированную модель System One, которая выполняет структурированные вероятностные решения непосредственно в кодовой базе. В отличие от традиционных моделей, которые генерируют текстовые токены, Jev принимает неструктурированное состояние на входе и выдает типобезопасные структурированные значения в одном параллельном запросе. Эта архитектура нацелена на интеграцию детерминированного кода, что предотвращает синтаксические ошибки типов и галлюцинации выходных данных.

Архитектура модели Jev

По словам Диого Алмейды, основателя TypeSafe, "Jev можно рассматривать как функцию вызова фронтирного интеллекта: неструктурированное состояние на входе, типизированные вероятностные решения на выходе". Платформа построена на альтернативной методологии обучения, называемой Обучением с подкреплением для откалиброванных решений (RLCD). В отличие от традиционных моделей, которые обучаются с помощью Обучения с подкреплением с человеческой обратной связью (RLHF) или Обучения с подкреплением с проверяемыми наградами (RLVR), TypeSafe обучает Jev для получения откалиброванных вероятностей в логике выполнения.

Параллельная выборка и производительность

Jev использует аппаратно-осведомленный параллельный выборщик, который оценивает и выдает все структурированные значения одновременно. Структурные ограничения ограничивают выходные данные предопределенными схемами, что устраняет необходимость в парсинговых конвейерах и защитных оболочках, требуемых при развертывании традиционных больших языковых моделей в бизнес-процессах. Внутренний выборщик обрабатывает высококардинальные выборы до 255 дискретных опций, используя двухступенчатый процесс, который оценивает опции независимо перед выбором. Команда провела внутренние оценки на своих серверах на Западном побережье, зафиксировав время отклика от начала до конца в диапазоне от 70 до 500 миллисекунд. Это значительно быстрее, чем 3–329 секунд, наблюдаемые в развертываниях разговорных моделей. Опубликованные оценки рабочего процесса, проведенные на фиксированных вычислительных графах, показали скорость выполнения до 193,6 раз быстрее.

Экономия на обработке данных

Стоимость обработки входных данных составляет $0,042 за миллион токенов, что значительно ниже стандартных разговорных ставок, которые варьируются от $0,20 до $10 за миллион токенов. Поскольку параллельная выборка генерирует структурированные состояния без проходов автогенной генерации токенов, TypeSafe предоставляет выходные токены без дополнительных затрат.

Реальные примеры применения Jev

Демонстрации в реальных условиях показали, что Jev успешно решает ветвящиеся правила в высокоскоростных игровых состояниях и деревьях веб-переходов. В ходе динамического стресс-тестирования инженеры управляли реактивным ботом в реальном времени в структурах игрового состояния Doom с частотой 10 запросов в секунду, что обошлось примерно в $7 в час. Второй тест Wikiracing оценивал выбор ссылок в плотных энциклопедических директориях, завершая переходы за меньшее количество шагов, чем внешние модели, не использующие рассуждения. Полевые испытания подтвердили основные целевые приложения Jev в области извлечения функций в реальном времени, обработки данных объемом в петабайты, слоев верификации выходных данных и автоматизированной логики ветвления, где ручные правила оказываются ненадежными.

Доступ для разработчиков

TypeSafe открыла ранний доступ для разработчиков и начала набор инженерных команд из своего списка ожидания развертывания. Это открывает новые горизонты для автоматизации и оптимизации программных решений в различных отраслях.