Skinput — это технология ввода , которая использует биоакустическое зондирование для локализации нажатий пальцев на коже. При дополнении пикопроектором устройство может обеспечить прямую манипуляцию, графический пользовательский интерфейс на теле. Технология была разработана Крисом Харрисоном , Десни Таном и Дэном Моррисом в группе вычислительных пользовательских впечатлений Microsoft Research . [1] Skinput представляет собой один из способов отделения ввода от электронных устройств с целью позволить устройствам стать меньше без одновременного уменьшения площади поверхности, на которой может выполняться ввод. В то время как другие системы, такие как SixthSense, пытались сделать это с помощью компьютерного зрения, Skinput использует акустику, которая использует преимущества естественных звукопроводящих свойств человеческого тела (например, костную проводимость ). [2] Это позволяет аннексировать тело в качестве входной поверхности без необходимости инвазивного оснащения кожи датчиками, маркерами отслеживания или другими предметами.
Microsoft не комментировала будущее проекта, за исключением того, что он находится в стадии активной разработки. В 2010 году сообщалось, что он не появится в коммерческих устройствах в течение как минимум 2 лет. [3]
Skinput был публично продемонстрирован в виде нарукавной повязки, которая располагается на бицепсе . Этот прототип содержит десять небольших консольных пьезоэлементов, настроенных на высокую резонансность и чувствительность к частотам от 25 до 78 Гц. [4] Эта конфигурация действует как механическое быстрое преобразование Фурье и обеспечивает экстремальное подавление внеполосного шума, позволяя системе функционировать даже во время движения пользователя. От верхней части руки датчики могут локализовать нажатия пальцев на любую часть руки, вплоть до кончиков пальцев, с точностью более 90% (до 96% для пяти точек ввода). [5] Классификация управляется опорной векторной машиной с использованием ряда независимых от времени акустических характеристик, которые действуют как отпечаток пальца. Как и системы распознавания речи , механизм распознавания Skinput должен быть обучен на «звуке» каждой точки ввода перед использованием. После обучения местоположения могут быть привязаны к интерактивным функциям, таким как пауза/воспроизведение песни, увеличение/уменьшение громкости музыки, быстрый набор и навигация по меню.
С добавлением пикопроектора к нарукавной повязке Skinput позволяет пользователям взаимодействовать с графическим пользовательским интерфейсом, отображаемым непосредственно на коже. Это обеспечивает несколько модальностей взаимодействия, включая иерархическую навигацию на основе кнопок, скользящую навигацию на основе списков (аналогично iPod/SmartPhone/MID), ввод текста/цифр (например, клавиатура телефонного номера) и игры (например, Tetris , Frogger ) [6] [7]
Несмотря на то, что это внутренний проект Microsoft Research, Skinput был продемонстрирован публично несколько раз. Первое публичное появление состоялось на TechFest 2010 от Microsoft, где модель распознавания обучалась вживую на сцене во время презентации, за которой последовало интерактивное пошаговое руководство по простому мобильному приложению с четырьмя режимами: музыкальный проигрыватель, почтовый ящик электронной почты, Tetris и голосовая почта . [8] Похожая живая демонстрация была представлена на конференции ACM CHI 2010 , где научная работа получила награду «Лучшая работа». Участникам было разрешено опробовать систему. Многочисленные СМИ освещали эту технологию, [9] [10] [11] [12] [13] с несколькими живыми демонстрациями. [14]