Современные модели генерации контента, такие как Palette, показывают, что создание слайд-деков может быть не только автоматизированным, но и адаптированным под конкретные требования пользователя. Однако, несмотря на успехи, открытые модели все еще сталкиваются с определенными ограничениями, особенно когда речь идет о кастомизации и конфиденциальности данных.

Проблемы с открытыми моделями

Запросив у передовой модели создание слайд-дека, вы получите качественный результат. Но если вы попросите создать десять, они начнут выглядеть одинаково: с одинаковыми стилями и элементами оформления. Это может быть приемлемо, пока вам не нужно, чтобы дек выглядел как ваш собственный шаблон. Открытые модели имеют свой стиль, и никакие подсказки не могут остановить их от возвращения к этому стилю. Кроме того, иногда контент является конфиденциальным и не может покидать ваши системы. Эти факторы подчеркивают необходимость в модели, которую вы контролируете: с открытыми весами, работающей на вашей инфраструктуре и обученной на вашем языке дизайна.

Ограничения малых открытых моделей

Малые открытые модели, которые вы могли бы самостоятельно разместить, часто не справляются с задачами, связанными с созданием слайд-деков. Их результаты могут быть неудачными: заголовки могут сливаться с фоном, текст может выходить за пределы слайда, а формы могут накладываться друг на друга. Palette предлагает решение: небольшая открытая модель с открытыми весами, обученная на синтетических данных в вашем языке дизайна и проверенная с помощью специального инструмента, может конкурировать с передовыми системами, сохраняя при этом право собственности на результат.

Обучение модели

Мы дообучили модель с 20 миллиардами параметров для создания деков так, как это делает человек: дизайнер планирует дек, а кодер создает каждый слайд. Данные для обучения следуют IBM Design Language и на PresentBench модель занимает первое место по двум из трех измеренных доменов.

Почему создание деков сложно для малых моделей

Создание слайд-дека может показаться простым, но на самом деле требует от модели выполнения трех задач, с которыми малые модели часто не справляются:

Планирование слайда без визуализации: Модель не рисует слайды, а генерирует код, который размещает каждый элемент на слайде. Это требует арифметических расчетов, которые модель должна делать в уме.

Двойные решения: Модель должна одновременно принимать решения о содержании слайда и его визуальном представлении, что требует редакторского суждения и геометрии.

Отсутствие данных о процессе создания: Существуют готовые декы, но нет данных о том, как они были созданы, что затрудняет обучение модели.

Подход Palette: дизайнер и кодер

В Palette работа разделена на две роли: дизайнер и кодер. Дизайнер создает структурированный JSON-бриф, который включает палитру, типографику и содержание каждого слайда. Кодер, в свою очередь, использует этот бриф для написания кода, который создает слайд. Такой подход позволяет каждому из них сосредоточиться на своей задаче, что значительно ускоряет процесс создания деков.

Синтез данных и их обоснование

Поскольку нет публичного корпуса планов и решений по дизайну, мы создали его с помощью большой открытой модели. Каждый дек начинается с рецепта, который определяет его жанр, длину и макеты. Мы сгенерировали около 1000 деков, охватывающих примерно 10,000 слайдов, каждый из которых содержит обоснование принятых решений.

Управление дизайном через директивы

Пользователи могут задавать более детальные параметры, такие как тип графика или цвет. Palette позволяет добавлять такие директивы в план, что дает возможность моделям следовать этим указаниям при создании слайдов. Например, директива [[сделать это временной шкалой]] изменяет способ представления данных.

Проверка и исправление ошибок

Даже хорошо обученная модель может иногда выдавать ошибочные слайды. Поэтому Palette использует специальный инструмент для проверки и исправления каждого слайда перед его возвратом. Этот инструмент проверяет наличие ошибок, таких как наложение текста или выход текста за пределы слайда, и исправляет их, если это необходимо.

Оценка и результаты

Мы оценивали результаты на PresentBench, который оценивает созданные декы по пяти критериям: основы, визуальный дизайн, полнота, корректность и точность. Palette показала хорошие результаты, заняв первое место по экономике и образованию, а также второе место по среднему значению по трем доменам.

Перспективы и выводы

Palette уже использует дешевые и проверяемые сигналы для ремонта вывода после генерации. В будущем мы планируем использовать эти проверки как вознаграждения для обучения с подкреплением, чтобы модель не допускала ошибок изначально. Мы также хотим улучшить работу с графиками, извлекая их из исходных документов и размещая их с помощью инструмента проверки. Наша работа с Palette показала, что обучение на обоснованиях решений и исправление ошибок до добавления новых правил значительно улучшает качество выходных данных.