Для человека с нарушением слуха даже обычный разговор в аудитории может стать препятствием: преподаватель не знает жестового языка, а переводчик не всегда рядом. В последние годы искусственный интеллект пытается восполнить этот пробел — появляются системы, которые распознают жесты через камеру и превращают их в текст и живую речь.

Как работает технология?

Такая система обычно состоит из нескольких этапов:

  • Компьютерное зрение: из изображения камеры извлекаются ключевые точки рук, пальцев, мимики и положения тела;
  • Анализ последовательности: жест — это движение, а не отдельный кадр, поэтому нейронная сеть (например, LSTM или Transformer) изучает последовательности движений;
  • Перевод в текст: распознанные жесты преобразуются в слова и предложения;
  • Синтез речи (TTS): полученный текст озвучивается.

Основные трудности

Жестовый язык — это не устная речь, «показанная руками», а самостоятельный язык со своей грамматикой. Смысл несут также мимика, скорость и направление движения. Для обучения модели нужны большие объёмы качественно размеченного видео, а открытых наборов данных по жестовому языку, используемому в нашей стране, пока очень мало. На точность также влияют освещение, фон, угол камеры и индивидуальная манера каждого человека.

Значение для образования

Если такая система работает в аудитории, студенту с нарушением слуха гораздо проще задавать вопросы преподавателю и однокурсникам, участвовать в обсуждениях. В обратном направлении технологии преобразования речи в текст (speech-to-text) могут выводить слова преподавателя на экран в виде субтитров. Вместе эти технологии помогают создать по-настоящему инклюзивную среду.

Поле для студенческих исследований

Это направление — отличный практический проект для студентов информатики и ИИ: сбор и разметка данных, обучение моделей компьютерного зрения, проверка результата в реальных условиях — всё это необходимые навыки современного специалиста. Главное, чтобы такие проекты велись в сотрудничестве с самими носителями жестового языка.

Искусственный интеллект не может полностью заменить переводчика, но может стать сильным помощником в снижении барьеров в повседневном общении.