Опубликованы сразу две ИИ-модели, работающие с жестовыми языками. Одна – переводит с языка жестов на звучащие языки, другая – работает в обратную сторону, переводит текст на язык жестов (в этом случае жесты воспроизводит аватар).

Видео в конце.

 

По данным ООН, в мире жестовыми языки постоянно пользуются более 70 миллионов слабослышащих. Разных жестовых языков на сегодня описано более 300. Жестовые языки – особенные. Это – бесписьменные языки грамотных людей. Использующие жестовый язык люди чаще всего читают и пишут на языке своего окружения, а на жестовом только говорят. Хотя жестовые языки описаны по крайней мере 200 лет назад, только в 1960-е годы впервые была исследована их структура. Она сильно отличается от структуры звучащих языков.

 

Жестовыми языками пользуются не только слабослышащие между собой, но и люди с нормальным слухом, которые с ними общаются. Выучить жестовый язык во взрослом возрасте довольно сложно, но в некоторых случаях необходимо. Например, если у нормально слышащих родителей растет глухой ребенок.

 

Проблема автоматического перевода с жестового языка на звуковой, гораздо труднее, чем, например, с английского на русский, при котором текст преобразуется в текст. При работе с жестовым языком нужно распознать жесты (видео) и превратить жесты в текст (или голос), а в обратном направлении – нужно превратить текст в жесты (видео).