Фильм "Любовь, восстановленная" — это не просто короткометражный документальный фильм, а глубокое исследование утраты памяти и силы повествования. Он рассказывает историю Бёрта и Этеллы Шац, пары, которая прожила вместе более 70 лет и сталкивается с когнитивным ухудшением Бёрта. Одно из его ускользающих воспоминаний — это день их встречи в студенческом кооперативе в Кливленде, который не был зафиксирован на фото или видео, и, следовательно, существовал только в их памяти. Когда я вступил в проект в качестве технического руководителя, я понимал, что он будет эмоционально сложным и технически требовательным. Утрата памяти близка мне, так как мой дедушка страдал от инсульта и потери памяти перед своей смертью. В последний раз, когда я его навещал, мне было около тридцати. Он был уверен, что я все еще учусь в колледже и был очень рад, что я заканчиваю обучение. Это горькое воспоминание навсегда осталось со мной. Этот опыт вдохновил меня исследовать, как технологии могут помочь мне глубже связаться с семьей через тот же медиум. Когда проект только начинался, я попросил у отца старые семейные фотографии. Я протестировал восстановление изображений на фотографиях, сделанных в то время, когда мои родители встретились, и использовал наши видеомодели для их анимации. Наблюдая за тем, как мои родители движутся, как двадцатилетние, я осознал, как эти инструменты могут помочь сохранить то, что имеет наибольшее значение, от ускользания. Фильм "Любовь, восстановленная" был снят режиссером, номинированным на премию Оскар, Лиз Гарбас, в сотрудничестве с Дэном Коганом и Дарреном Аронофски. Он был создан в партнерстве между Google DeepMind и Primordial Soup, творческим предприятием Аронофски.

Исследование тайны воспоминаний

Лиз и Даррен пришли к фильму с интересом к устойчивости памяти. Во время съемок документального фильма "Кома" Лиз заметила, как fMRI-сканеры активировались, когда пациенты в минимально сознательных состояниях слышали знакомые голоса или видели изображения любимых людей. Годы спустя Даррен столкнулся с кадрами бывшей балерины с болезнью Альцгеймера, которая, услышав "Лебединое озеро", инстинктивно начала танцевать хореографию из своего инвалидного кресла. Эти моменты привели творческую команду к терапии воспоминаний, клинической практике, использующей сенсорные сигналы, такие как песни, семейные истории и старые фотографии, для стимуляции воспоминаний, разжигания разговоров и восстановления эмоциональных связей. Но что происходит, когда воспоминание не связано с такими сигналами?

Воссоздание незаписанного прошлого Бёрта и Этеллы

Чтобы воссоздать незаписанное прошлое Бёрта и Этеллы, кинематографисты объединились с нашей командой. Этелла стала активным соавтором, корректируя детали, такие как изгиб лестницы или форма каблука обуви. Мы работали вместе с командой Primordial Soup, используя новые модели ИИ как художественное средство и инструмент, направляя технологию на каждом этапе.

Технический подход к воссозданию воспоминаний

Для заполнения пробелов между отсутствующими деталями был разработан двухчастный технический подход, направленный на сохранение эмоциональной правды:

Восстановление изображений: Команда использовала генеративные модели для восстановления черно-белых фотографий Бёрта и Этеллы из их юности. Восстановленные фотографии помогли обеспечить, чтобы последующие воссоздания оставались верными их образам.

Контроль позы и исполнения: Инженеры использовали наши модели захвата производительности для отображения микроманеризмов Бёрта и Этеллы в настоящем времени — специфического наклона головы Бёрта, краткой паузы в его речевом ритме, тонкой морщинки вокруг его глаз. Отображение этих черт на их более молодых образах оживило воссоздание.

Комбинирование этих двух средств позволило нам переплести прошлое Бёрта и Этеллы с их настоящим. В результате мы создали "воспоминание", которое, по их словам, казалось аутентичным. Как отметил Даррен во время производства, инструмент — будь то кисть или молоток — ничего не делает, пока не будет направлен человеческими руками. В "Любовь, восстановленная" машинное обучение стало инструментом, который мы использовали, чтобы помочь Бёрту и Этелле вернуться назад во времени, помогая им удержать ускользающий момент.

Сохранение истории вашей семьи

Если вы хотите установить связь с бабушкой или сохранить основные воспоминания вашей семьи, вы можете восстановить старые фотографии в приложении Gemini. Загрузите изображение фотографии и спросите Gemini: "Можешь восстановить и раскрасить эту фотографию? Сохрани внешний вид, выражение и позу людей."