Оксфордские ученые создали искусственный интеллект (ИИ), который может читать по губам

Чтение по губам это способ понимания речи путем интерпретации движения губ человека. Однако человеческая речь является очень сложной, где одно движение губ может соответствовать различным фонемам. Таким образом, практика склонна к ошибкам, которые иногда могут привести к неожиданным ситуациям и забавным ситуациям.

Ученые из Оксфордского университета описали систему искусственного интеллекта, которая называется LipNet и которая может очень точно читать по губам. Система использует глубокое обучение, чтобы обучить себя. На данный момент искусственный интеллект (ИИ) уже изучил 29000 видео с субтитрами.

Предыдущая система читала по губам учась ассоциировать фонемы с определенным движением губ. Благодаря этому была достигнута точность чтения в 79,6 процента. LipNet же читает целые предложения, достигая точности в 93,4 процента. Для сравнения человек, который читал тот же текст набрал всего 52,3 процента. LipNet оказался в 1,78 раза более точным.

Таким образом, технология оправдывает все возложенные на нее ожидания и ученые уже ищут возможность для ее внедрения. Например, она может быть использована для помощи слабослышащим.