Компьютер научился предсказывает жесты по голосу

Разработчики из Калифорнийского университета в Беркли создали систему на базе искусственного интеллекта speech2gesture и обучили её предсказывать жесты человека, основываясь на его голосе.

Нейросеть выдаёт довольно реалистичные результаты, угадывая примерно в половине случаев. Для обучения нейросети использовалась подборка видеозаписей общей продолжительностью 144 часа с десятью разными людьми, которые много жестикулируют, такими как телеведущие, преподаватели и проповедники.

В итоге обучения, алгоритм освоил реалистичную жестикуляцию, но система способна предсказывать жесты не слишком точно. При синхронизации с оригиналом становится заметно, что нейросеть угадывает в 44% случаев и регулярно путает положение рук.

Результат исследований и исходный код разработчики выложили в открытом доступе.