Жесты — это один из самых простых и доступных интерфейсов для управления устройствами и сервисами. Такие системы развивают сейчас не только компании уровня Google и Apple, но десятки стартапов в самых разных отраслях: от медицины до безопасности. Расскажу об этом подробнее

https://habr.com/ru/post/712322/?utm_source=habrahabr&utm_medium=rss&utm_campaign=712322

Привет, друзья!

Еще недавно управление содержимым веб-страницы с помощью жестов можно было наблюдать разве что в фантастических фильмах. Сегодня все, что для этого требуется — видеокамера и браузер (и библиотека от Google).

В данном туториале мы рассмотрим 5 примеров:

• получение данных с видеокамеры и их отрисовка на холсте (canvas);


• обнаружение и отслеживание кисти руки;


• управление "курсором" с помощью указательного пальца;


• определение жеста "щипок" (pinch);


• нажатие кнопки с помощью щипка.

Все примеры будут реализованы на чистом JavaScript.

Источником вдохновения для меня послужила эта замечательная статья.

Для обнаружения и отслеживания руки и жестов будет использоваться MediaPipe. Для работы с зависимостями — Yarn.

Код примеров можно найти в этом репозитории.

https://habr.com/ru/post/698286/?utm_source=habrahabr&utm_medium=rss&utm_campaign=698286

Хороший набор данных невероятно важен при обучении нейросетей. Наш датасет изображений с жестами HaGRID (Hand Gesture Recognition Image Dataset) — один из таких. С его помощью можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов. Ниже рассказываем, как всё это работает, и делимся ссылками на датасет и набор предобученных моделей к нему.

https://habr.com/ru/post/671614/?utm_source=habrahabr&utm_medium=rss&utm_campaign=671614