Facebook разрабатывает способ набора текста с помощью виртуальной реальности

Facebook работает над тем, чтобы полностью обойти физические клавиатуры с помощью отслеживания рук. Отслеживание рук и виртуальной реальности (VR), набор текста без клавиатуры, сообщает новость cnet.

Исследование VR-набора от Facebook Reality Labs работает, но пока со специализированными перчатками для маркеров. В конце концов, это могло быть и на гарнитурах.

Выполнять офисную работу в VR непросто. Дело не только в отсутствии программных плагинов для VR и большинства приложений для повышения производительности, поскольку VR-гарнитуры уже можно превратить в носимые мониторы. Клавиатура – вот что действительно расстраивает.

Последний исследовательский проект Facebook Reality Labs, представленный на Симпозиуме по пользовательским интерфейсам и программным технологиям, демонстрирует набор текста вручную на столе со скоростью до 73 слов в минуту. Проект еще не готов для гарнитур Oculus Quest VR, в которых уже есть отслеживание рук, но отсутствует поддержка ввода. В исследовательском проекте, похоже, прямо сейчас будут использоваться дополнительные датчики слежения, а также специальные перчатки, усыпанные маркерами захвата движения. Но идея состоит в том, чтобы в конечном итоге развить отслеживание рук Oculus VR, чтобы можно было вводить текст, как сейчас.

Пока проходят разработки новых технологий, традиционная компьютерная техника может иногда “капризничать”. И если вы ищете кто поможет отремонтировать ваш ноутбук, то смотрите тут.

Модель движения Facebook видит нажатия клавиш, когда они происходят в трехмерном пространстве.

«Чтобы поддерживать слепой ввод без физической клавиатуры – и без преимущества тактильной обратной связи от отдельных клавиш – команде пришлось разобраться в беспорядочных шаблонах печати», – говорится в сообщении Facebook об исследовательском проекте. Искусственный интеллект (ИИ) для набора текста в Facebook адаптирован под распознавание речи, но ищет определенные движения клавиш среди общего движения пальцев. Он работает с предсказанием, чтобы предвидеть буквы по мере их набора. В сообщении Facebook утверждается, что на данный момент результаты исследования показывают, что скорость набора текста составляет «73 слова в минуту с 2,4% неисправленных ошибок с использованием рук, плоской поверхности и больше ничего другого».

К концу года Facebook уже поддерживает определенные физические клавиатуры, оптимизированные для виртуальной реальности, с Oculus Quest VR, но набор текста без клавиатуры может стать способом для виртуальной реальности и, в конечном итоге, умных очков, чтобы работать без каких-либо аксессуаров вообще.