В финансовом секторе использование реальных данных сталкивается с серьезными ограничениями из-за строгих норм конфиденциальности и требований к соблюдению законодательства. Это создает необходимость в разработке агентного ИИ, способного работать с синтетическими данными, которые отражают демографические характеристики, структуру домохозяйств и финансовое состояние, позволяя воссоздавать разнообразные и реалистичные финансовые сценарии. В ответ на эти вызовы компании Elith и NVIDIA представили набор данных Nemotron-Personas-Finance-Japan, который является расширением открытого набора персон Nemotron-Personas-Japan. Это первый открытый набор данных на миллион записей, который сочетает официальную статистику Японии с данными о финансах домохозяйств и финансовой грамотности.

Структура набора данных

Набор данных Nemotron-Personas-Finance-Japan построен на основе официальной статистики правительства и разработан с использованием NeMo SDG-PGMs — фреймворка для генерации синтетических данных, а также NeMo Data Designer — системы для создания синтетических данных в корпоративной среде. Важным аспектом разработки стало сотрудничество с ведущими финансовыми учреждениями и ассоциациями Японии, такими как Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka и другими, что позволило учесть их мнения и рекомендации. Набор данных включает:

9 миллионов персон, каждая из которых имеет 50 полей: 9 полей персон, 11 атрибутов и 30 контекстуальных полей, основанных на официальной демографической и трудовой статистике.

1,5 миллиарда токенов, включая около 750 миллионов токенов персон.

950 тысяч уникальных имен и более 1600 категорий профессий, отражающих рабочую силу Японии.

Разнообразные типы персон, включая профессии, увлечения, финансовое поведение и заботы.

Процесс генерации данных

Генерация набора данных была осуществлена с использованием фреймворка NVIDIA для синтетической генерации данных NeMo Data Designer. Эта система позволяет создавать сложные шаблоны, проводить валидацию, формировать структурированные выходные данные и поддерживает автоматические повторные попытки. Для генерации использовались также модели NeMo SDG-PGMs и gemma-4-31B-it для генерации японского текста.

Культурный контекст и реалистичность

Nemotron-Personas-Finance-Japan был разработан с учетом официальной демографической и трудовой статистики Японии, а также ключевых аспектов, необходимых для обучения ИИ:

Образование: Включает более детализированные уровни образования.

Профессии: Расширены категории профессий, включая владельцев бизнеса и специализированные профессии.

Этапы жизни: Моделируются сценарии, такие как студенты и пенсионеры.

Финансовое положение домохозяйств: Учитываются доходы и финансовые активы на уровне домохозяйств.

Цифровая и финансовая грамотность: Включает использование интернета и смартфонов.

Применение набора данных

Nemotron-Personas-Finance-Japan предназначен для команд, создающих финансовый ИИ в Японии, включая банки, страховые компании и стартапы. Каждая персона содержит данные о финансовой грамотности и домохозяйствах, что позволяет использовать их для:

Создания агентов по обслуживанию клиентов.

Оценки маркетинговых инициатив.

Проведения пользовательских симуляций.

Значение и доступность

Доступ к разнообразным и качественным данным для обучения ИИ всегда был проблемой в разработке. С набором данных Nemotron-Personas-Finance-Japan, выпущенным под лицензией CC BY 4.0, разработчики получают возможность создавать ИИ-системы, учитывающие культурные особенности Японии, без необходимости использования реальных данных клиентов.

Параллельный запуск Nemotron-PII-Japan

В тот же день был запущен набор данных Nemotron-PII-Japan, содержащий 100,000 синтетических японских бизнес-документов с пометками о личной информации. Этот набор может быть использован для тестирования моделей обнаружения и редактирования личной информации.

Заключение

Nemotron-Personas-Finance-Japan предоставляет разработчикам возможность создавать приложения, которые действительно понимают японскую культуру и язык, что открывает новые горизонты для разработки ИИ в финансовом секторе Японии.