Арабский язык представляет собой семейство языков, объединенных под одним названием. Современный стандартный арабский (MSA) — это то, что вы читаете в новостях или учебниках, но это редко то, как люди общаются друг с другом. В Объединенных Арабских Эмиратах повседневное общение, юмор, переговоры и рассказы происходят на эмиратском арабском, диалекте Персидского залива с уникальным словарным запасом, ритмом и культурой, плотно связанной с ним.

Эмиратская поэзия и культурный контекст

Эмиратская поэзия, особенно набати, а также пословицы и короткие анекдоты несут в себе смысл, который не сохраняется при буквальном переводе. Модель, которая знает только MSA, может перевести каждое слово эмиратского предложения и все равно не уловить его истинное значение. Именно для того, чтобы закрыть этот разрыв, была создана модель Falcon-Emirati-7B. Это специализированная модель, основанная на Falcon-H1-Arabic, нацеленная на понимание и генерацию эмиратского арабского так, как это делает носитель языка: с учетом словарного запаса, тональности и культурного контекста.

Архитектура Falcon-Emirati-7B

Falcon-Emirati-7B построена на базе Falcon-H1-Arabic, модели, которая уже установила новые стандарты для арабского языка в этом году. Falcon-H1-Arabic использует гибридную архитектуру Falcon-H1: модели пространственного состояния (Mamba) и внимание трансформера, работающие параллельно внутри каждого блока, с их выходами, объединенными перед проекцией каждого блока. Эта комбинация обеспечивает линейную эффективность Mamba на длинных последовательностях, сохраняя при этом точность внимания для дальнодействующих зависимостей, что важно для морфологически богатого языка, такого как арабский. Семейство моделей охватывает три масштаба (3B, 7B и 34B параметров) с контекстными окнами до 128K и 256K токенов. Оно уже было обучено на широком наборе данных, включающем MSA и диалектный арабский (персидский, левантийский, египетский, магрибский), а также английский и многоязычные данные. Это дало нам сильную базу: модель, которая уже понимала арабский в широком смысле, хорошо справлялась с длинным контекстом и имела некоторый опыт работы с диалектами.

Специфика эмиратского диалекта

Falcon-Emirati-7B берет эту основу и направляет ее специально на эмиратский диалект, включая словарный запас, грамматику и культурные знания, которые общая арабская модель, как бы она ни была способна, не может уловить самостоятельно. Мы построили Falcon-Emirati-7B на 7B варианте, который является оптимальным в семействе: достаточно большим, чтобы сохранить нюансы, необходимые для адаптации диалекта, но достаточно маленьким, чтобы обучение и вывод оставались практичными.

Сложности адаптации диалекта

Преобразование общей арабской модели в специалиста по эмиратскому диалекту кажется меньшей задачей, чем создание базовой модели. Однако это не так. Существует несколько факторов, делающих эту задачу действительно сложной:

Эмиратский диалект в основном устный. Он встречается гораздо реже в письменной форме в Интернете, чем MSA или даже другие диалекты Персидского залива и Леванта, поэтому просто нет столько исходного текста для обучения.

Значение часто не является буквальным. Идиомы, пословицы и поэтические ссылки опираются на общий культурный контекст, а не на поверхностный словарный запас.

Нет установленного рецепта. Нет хорошо задокументированной инструкции о том, сколько диалектных данных достаточно, как смешивать их с MSA и общим арабским, или какой этап обучения (продолженное предварительное обучение, SFT или оптимизация предпочтений) имеет наибольшее значение для усвоения диалекта.

Подход к данным

Мы разработали специализированный поток данных для эмиратского диалекта на основе предварительного обучения Falcon-H1-Arabic, опираясь на три взаимодополняющих источника: 1. Аутентичные данные веба на эмиратском диалекте. Мы собрали и отобрали контент с эмиратских сайтов и форумов, написанных на диалекте, а не переведенных или транслитерированных с MSA. Это наша основа: как эмиратцы на самом деле пишут и говорят в Интернете, повседневные фразы, разговорные выражения и естественный обмен между эмиратским и MSA. 2. MSA данные о культуре и идентичности Эмиратов. Мы также собрали материалы на MSA, касающиеся эмиратской культуры, наследия и языка: статьи и ссылки на местные обычаи, ценности, историю и социальные нормы. 3. Синтетические данные, управляемые глоссариями и правилами стиля. Аутентичного диалектного текста было недостаточно, чтобы покрыть диапазон тем, которые чат-модель должна обрабатывать ежедневно. Поэтому мы сгенерировали большое количество синтетических данных на эмиратском диалекте, чтобы заполнить пробелы, используя строгие правила и глоссарии, созданные специально для эмиратского словарного запаса и грамматики.

Оценка и результаты

Falcon-Emirati-7B набрала 84.83% на Alyah, опережая все другие арабские и многоязычные модели, с которыми мы ее сравнивали. Это подчеркивает, что размер модели сам по себе не обеспечивает компетенции в диалекте. Модели, которые показывают лучшие результаты, также, как правило, являются арабскими или ориентированными на арабский язык с самого начала.

Понимание эмиратской культуры

Язык также связан с пониманием культуры, стоящей за разговором. Мы оценили Falcon-Emirati-7B по части ОАЭ в ArabCulture-Dialogue, бенчмарке для культурного понимания в арабском. В результате Falcon-Emirati-7B набрала 85.57%, что является наивысшим результатом среди четырех протестированных моделей.

Заключение

Falcon-Emirati-7B доступна на нашей платформе чата. Эта модель представляет собой важный шаг вперед в понимании и генерации эмиратского арабского, учитывая как лексические, так и культурные аспекты, что делает ее уникальной в своем роде.