Отслеживание пальцев

Эта статья включает список общих ссылок , но в ней отсутствуют соответствующие встроенные цитаты . Пожалуйста, помогите улучшить эту статью, введя более точные цитаты. ( Август 2016 ) ( Узнайте, как и когда удалять это сообщение )

В области распознавания жестов и обработки изображений отслеживание пальцев — это метод высокого разрешения, разработанный в 1969 году, который используется для определения последовательного положения пальцев пользователя и, следовательно, представления объектов в 3D . Кроме того, метод отслеживания пальцев используется в качестве инструмента компьютера, выступая в качестве внешнего устройства в нашем компьютере, аналогично клавиатуре и мыши .

Система отслеживания пальцев ориентирована на взаимодействие пользователя с данными, где пользователь взаимодействует с виртуальными данными, обрабатывая с помощью пальцев объем трехмерного объекта, который мы хотим представить. Эта система родилась на основе проблемы взаимодействия человека и компьютера . Цель состоит в том, чтобы сделать коммуникацию между ними и использование жестов и движений рук более интуитивными. Были созданы системы отслеживания пальцев. Эти системы отслеживают в реальном времени положение в 3D и 2D ориентации пальцев каждого маркера и используют интуитивные движения рук и жесты для взаимодействия.

Существует множество вариантов реализации отслеживания пальцев, в основном те, которые используются с интерфейсом или без него .

В этой системе в основном используются инерциальные и оптические системы захвата движения .

Системы захвата инерционного движения способны захватывать движение пальцев, считывая вращение каждого сегмента пальца в трехмерном пространстве. Применяя эти вращения к кинематической цепи , можно отслеживать всю человеческую руку в реальном времени, без окклюзии и беспроводной связи.

Системы захвата инерционного движения руки, такие как, например, перчатки Synertial mocap, используют крошечные датчики на основе IMU , расположенные на каждом сегменте пальца. Для точного захвата требуется использовать не менее 16 датчиков. Существуют также модели перчаток mocap с меньшим количеством датчиков (13/7 датчиков), для которых остальная часть сегментов пальца интерполируется (проксимальные сегменты) или экстраполируется (дистальные сегменты). Датчики обычно вставляются в текстильную перчатку, что делает использование датчиков более удобным.

Инерционные датчики могут захватывать движение во всех 3 направлениях, что означает, что можно обнаружить сгибание, разгибание и отведение пальцев и большого пальца.

Поскольку инерционные датчики отслеживают только вращения, вращения должны быть применены к некоторому скелету руки, чтобы получить правильный вывод. Чтобы получить точный вывод (например, чтобы иметь возможность коснуться кончиков пальцев), скелет руки должен быть правильно масштабирован, чтобы соответствовать реальной руке. Для этой цели можно использовать ручное измерение руки или автоматическое извлечение измерений.

Помимо отслеживания пальцев, многим пользователям требуется позиционное отслеживание всей руки в пространстве. Для этой цели можно использовать несколько методов:

• Захват всего тела с помощью инерционной мокап-системы (скелет руки прикреплен в конце кинематической цепи скелета тела). Положение ладони определяется по телу.
• Захват положения ладони (предплечья) с помощью оптической системы захвата движений.
• Захват положения ладони (предплечья) с использованием другого метода отслеживания положения, широко используемого в гарнитурах виртуальной реальности (например, HTC Vive Lighthouse).

Инерциальные датчики имеют два основных недостатка, связанных с отслеживанием пальцев:

• Проблемы с фиксацией абсолютного положения руки в пространстве.
• Магнитные помехи
• Металлические материалы используются для создания помех датчикам. Эта проблема может быть заметна в основном потому, что руки часто контактируют с различными предметами, часто сделанными из металла. Текущие поколения перчаток для захвата движения способны противостоять магнитным помехам. Степень их невосприимчивости к магнитным помехам зависит от производителя, ценового диапазона и количества датчиков, используемых в перчатке для захвата движений. В частности, датчики растяжения представляют собой конденсаторы на основе силикона, которые совершенно не подвержены магнитным помехам.

выполняется отслеживание местоположения маркеров и узоров в 3D, система идентифицирует их и маркирует каждый маркер в соответствии с положением пальцев пользователя. Координаты в 3D меток этих маркеров производятся в реальном времени с другими приложениями.

Некоторые оптические системы , такие как Vicon или ART, способны фиксировать движение руки с помощью маркеров. В каждой руке у нас есть маркер на каждый «рабочий» палец. Три камеры высокого разрешения отвечают за захват каждого маркера и измерение его положения. Это будет производиться только тогда, когда камера сможет их увидеть. Визуальные маркеры, обычно известные как кольца или браслеты, используются для распознавания жестов пользователя в 3D . Кроме того, как указывает классификация, эти кольца действуют как интерфейс в 2D .

Визуальная окклюзия — очень интуитивный метод, позволяющий получить более реалистичную точку зрения на виртуальную информацию в трех измерениях. Интерфейсы предоставляют более естественные методы взаимодействия в 3D по сравнению с базой 6.

Маркеры работают через точки взаимодействия , которые обычно уже установлены, и у нас есть знания о регионах. Из-за этого нет необходимости следить за каждым маркером все время; многоточечные датчики можно обрабатывать таким же образом, когда есть только один рабочий указатель. Чтобы обнаружить такие указатели через взаимодействие, мы включаем ультразвуковые инфракрасные датчики. Тот факт, что многие указатели могут обрабатываться как один, решает проблемы. В случае, когда мы подвергаемся работе в сложных условиях, таких как плохое освещение , размытость изображения , деформация маркера или окклюзия. Система позволяет следить за объектом, даже если некоторые маркеры не видны. Из-за того, что пространственные отношения всех маркеров известны, положения маркеров, которые не видны, можно вычислить, используя известные маркеры. Существует несколько методов обнаружения маркеров, таких как методы маркеров границ и предполагаемых маркеров.

• Метод Хомера включает в себя выбор луча с прямой обработкой: выбирается объект, а затем его положение и ориентация обрабатываются так, как если бы он был напрямую подключен к руке.
• Метод Коннера представляет собой набор трехмерных виджетов , которые позволяют осуществлять косвенное взаимодействие с виртуальными объектами через виртуальный виджет, выступающий в качестве посредника.

Из-за окклюзии маркера во время захвата отслеживание пальцев является наиболее сложной частью для оптических систем захвата движения (таких как Vicon, Optitrack, ART, ..). Пользователи оптических систем захвата движений утверждают, что большая часть работы по постобработке обычно связана с захватом пальцев. Поскольку инерциальные системы захвата движений (при правильной калибровке) в основном не нуждаются в постобработке, типичным использованием для высококлассных пользователей захвата движений является слияние данных из инерциальных систем захвата движений (пальцы) с оптическими системами захвата движений (тело + положение в пространстве).
Процесс слияния данных захвата движений основан на сопоставлении временных кодов каждого кадра для источника данных инерциальной и оптической систем захвата движений. Таким образом, любое стороннее программное обеспечение (например, MotionBuilder, Blender) может применять движения из двух источников независимо от используемого метода захвата движений.

Системы захвата движения с датчиком растяжения используют гибкие параллельные пластинчатые конденсаторы для обнаружения различий в емкости, когда датчики растягиваются, сгибаются, сдвигаются или подвергаются давлению. Датчики растяжения обычно изготавливаются на основе силикона, что означает, что они не подвержены магнитным помехам, окклюзии или позиционному дрейфу (обычно в инерциальных системах). Прочные и гибкие качества этих датчиков обеспечивают высокоточное отслеживание пальцев и используются в перчатках для захвата движений, производимых StretchSense. ^[2]

Отслеживание сочлененной руки проще и менее затратно, чем многие методы, поскольку для него нужна только одна камера . Эта простота приводит к меньшей точности. Он обеспечивает новую базу для новых взаимодействий в моделировании, управлении анимацией и добавлении реализма. Он использует перчатку, состоящую из набора цветов, которые назначаются в соответствии с положением пальцев. Этот цветовой тест ограничен системой зрения компьютеров и основан на функции захвата и положении цвета, положение руки известно.

С точки зрения визуального восприятия , ноги и руки можно смоделировать как сочлененные механизмы, систему жестких тел, которые соединены между собой в сочленения с одной или несколькими степенями свободы. Эту модель можно применить к более уменьшенному масштабу для описания движения руки и на основе широкого масштаба для описания полного движения тела. Определенное движение пальца, например, можно распознать по его обычным углам, и оно не зависит от положения руки по отношению к камере.

Многие системы отслеживания основаны на модели, ориентированной на проблему оценки последовательности, где дана последовательность изображений и модель изменения, мы оцениваем 3D-конфигурацию для каждой фотографии. Все возможные конфигурации рук представлены векторами в пространстве состояний , которое кодирует положение руки и углы сустава пальца. Каждая конфигурация руки генерирует набор изображений посредством обнаружения границ окклюзии сустава пальца. Оценка каждого изображения вычисляется путем нахождения вектора состояния, который лучше соответствует измеренным характеристикам. Суставы пальцев имеют добавленные 21 состояние больше, чем движение жесткого тела ладоней; это означает, что вычислительная стоимость оценки увеличивается. Метод состоит из метки, каждая связь сустава пальца моделируется как цилиндр. Мы делаем оси в каждом суставе, и биссектриса этой оси является проекцией сустава. Следовательно, мы используем 3 степеней свободы, потому что есть только 3 степени движения.

В этом случае, это то же самое, что и в предыдущей типологии, поскольку существует большое разнообразие тезисов развертывания по этому вопросу. Поэтому шаги и техника лечения различаются в зависимости от цели и потребностей человека, который будет использовать эту технику. В любом случае, мы можем сказать, что очень общим образом и в большинстве систем, вы должны выполнить следующие шаги:

• Вычитание фона: идея состоит в том, чтобы свернуть все изображения, полученные с помощью фильтра Гаусса 5x5, а затем масштабировать их для уменьшения количества зашумленных пикселей.
• Сегментация: применяется бинарная маска для представления пикселей, принадлежащих руке, белым цветом и для применения черного цвета к изображению кожи переднего плана.
• Извлечение области: обнаружение левой и правой руки на основе их сравнения.
• Извлечение характеристик: местоположение кончиков пальцев и определение, является ли это пиком или впадиной. Чтобы классифицировать точку, пики или впадины, они преобразуются в трехмерные векторы, обычно называемые псевдовекторами в плоскости xy, а затем вычисляется векторное произведение. Если знак z-компоненты векторного произведения положительный, мы считаем, что точка является пиком, а в случае, если результат векторного произведения отрицательный, это будет впадина.
• Распознавание точечных и сжимающих жестов: с учетом видимых опорных точек (кончиков пальцев) ассоциируется определенный жест.
• Оценка позы : процедура, которая заключается в определении положения рук с помощью алгоритмов, вычисляющих расстояния между положениями.

Также возможно выполнять активное отслеживание пальцев. Smart Laser Scanner — это система отслеживания пальцев без маркеров, использующая модифицированный лазерный сканер/проектор, разработанный в Токийском университете в 2003–2004 годах. Он способен получать трехмерные координаты в реальном времени без необходимости какой-либо обработки изображения (по сути, это сканер-дальномер, который вместо непрерывного сканирования по всему полю зрения ограничивает область сканирования очень узким окном, точно соответствующим размеру цели). С помощью этой системы было продемонстрировано распознавание жестов. Частота дискретизации может быть очень высокой (500 Гц), что позволяет получать плавные траектории без необходимости фильтрации (например, Калмана).

Определенно, системы отслеживания пальцев используются для представления виртуальной реальности . Однако их применение перешло на профессиональный уровень 3D-моделирования , компании и проекты, непосредственно в этом случае, были отменены. Таким образом, такие системы редко использовались в потребительских приложениях из-за своей высокой цены и сложности. В любом случае, главная цель заключается в том, чтобы облегчить задачу выполнения команд компьютеру с помощью естественного языка или взаимодействующих жестов.

Цель сосредоточена на следующей идее: компьютеры должны быть проще в использовании, если есть возможность работать с помощью естественного языка или жестового взаимодействия. Основное применение этой техники — подчеркнуть 3D-дизайн и анимацию, где программное обеспечение, такое как Maya и 3D StudioMax, использует эти виды инструментов. Причина в том, чтобы обеспечить более точный и простой контроль инструкций, которые мы хотим выполнить. Эта технология предлагает много возможностей, где скульптура, строительство и моделирование в 3D в реальном времени с использованием компьютера являются наиболее важными.

• Получение 3D-данных и реконструкция объектов
• 3D-реконструкция из нескольких изображений
• Оценка 3D-позы в целом и оценка позы шарнирного тела в частности, связанная с фиксацией человеческого сходства .
• 4D реконструкция

• Андерсон, Д., Йедидия, Дж., Франкель, Дж., Маркс, Дж., Агарвала, А., Бирдсли, П., Ходжинс, Дж., Ли, Д., Райалл, К. и Салливан, Э. (2000). Осязаемое взаимодействие + графическая интерпретация: новый подход к 3D-моделированию. SIGGRAPH. стр. 393-402.
• Angelidis, A., Cani, M.-P., Wyvill, G., & King, S. (2004). Swirling-Sweepers: моделирование постоянного объема. Pacific Graphics. стр. 10-15.
• Гроссман, Т., Вигдор, Д. и Балакришнан, Р. (2004). Многопальцевое жестовое взаимодействие с объемными 3D-дисплеями. UIST. стр. 61-70.
• Freeman, W. & Weissman, C. (1995). Управление телевизором с помощью жестов. Международный семинар по автоматическому распознаванию лиц и жестов. стр. 179-183.
• Рингель, М., Берг, Х., Джин, Й. и Виноград, Т. (2001). Barehands: взаимодействие без инструментов с настенным дисплеем. CHI Extended Abstracts. стр. 367-368.
• Cao, X. & Balakrishnan, R. (2003). VisionWand: методы взаимодействия для больших дисплеев с использованием пассивного щупа, отслеживаемого в 3D. UIST. стр. 173-182.
• А. Кассинелли, С. Перрен и М. Ишикава, Интеллектуальный лазерный сканер для трехмерного человеко-машинного интерфейса, Международная конференция ACM SIGCHI 2005 (CHI '05) по человеческому фактору в вычислительных системах, Портленд, штат Орегон, США, 2–7 апреля 2005 г., стр. 1138–1139 (2005).

• http://www.synertial.com/
• http://www.vicon.com/
• https://stretchsense.com
• http://www.dgp.toronto.edu/~ravin/videos/graphite2006_proxy.mov ^{[ мертвая ссылка ]}
• https://web.archive.org/web/20091211043000/http://actuality-medical.com/Home.html
• http://www.dgp.toronto.edu/
• http://www.k2.tu-tokyo.ac.jp/perception/SmartLaserTracking/
• Отслеживание пальцев с использованием маркеров или без маркеров
• 3D-отслеживание рук