Дослідники зробили на диво рівне штучне відео Обами

Їх програма прищеплює аудіосинхронізований речовий апарат на існуючі відеоролики, повдомляє новину engadget.

Транслювання звуку в реалістичний відеоролик людини, який виступає, є досить складним завданням. Часто, отримане відео просто виглядає невдало — проблема, яку називають неприродною западиною, стверджує, що людські репліки, що з'являються майже, але не зовсім реально, відірвані, і виглядають як як мрячні або моторошні. Проте дослідники у Вашингтонському університеті зробили кілька серйозних успіхів у подоланні цього питання, і вони зробили це, використовуючи аудіо та відео Барака Обами.

Дослідники використовували 14 годин недільних відеороликів Обами для навчання нейронної мережі. Тоді після підготовки їх система змогла взяти аудіозапис колишнього президента, створити форми губ, які синхронізовані з аудіосистемою, а потім синтезувати реалістичний зовнішній вигляд, який відповідав би Обамі. Губи, синхронізовані з аудіо, накладаються і змішуються на відео Обами, яке відрізняється від джерела звуку. Щоб воно виглядало більш природнім, система виправляла розміщення голови та її рухи, час та деталі, як виглядала щелепа. Весь процес автоматизовано, за винятком однієї ручної функції, яка вимагає від людини обрати два кадри у відео, де верхній і нижній зуби суб'єкта є видимі і дуже помітні. Ці зображення потім використовуються системою, щоб зробити результуючий відеоряд, що виглядає більш реалістичним.

Програма ще не досконала, але в наведеному нижче відео ви можете побачити, наскільки в неї краще получається через три хвилини, одну годину, сім годин і 14 годин навчальних даних. Деякі обмеження, зазначені командою, включають випадкові помилки в ротовій та лицьовій орієнтації — іноді це давало Обамі два підборіддя — нездатність відповідати емоціям та питанням, що виникають зі звуків, які потребують певного розміщення мови, наприклад «th», який в даний час не охоплений їх програмою.

Але в цілому ця штучна програма синхронізації губ створює набагато більш реалістичне зображення, ніж інші. Робота буде опублікована в ACM Transactions on Graphics, і ви можете побачити процес дослідників у відео нижче.

Поделиться:

В тему:

,
UkrNET - поисково-информационный ресурс