Главная » Новини » HoloLens открыт доступ к потокам необработанных данных со всех сенсоров

HoloLens открыт доступ к потокам необработанных данных со всех сенсоров

HoloLens открыт доступ к потокам необработанных данных со всех сенсоров

Microsoft HoloLens: прямой доступ к видеосенсорам в исследовательском режиме поможет разработчикам компьютерного зрения

Microsoft анонсировала специальный исследовательский режим (Research Mode), появившийся в последнем выпуске Windows 10, HoloLens становится мощным устройством для исследований в области компьютерного зрения.

Из кода приложений разработчики могут не только обращаться к аудио- и видеопотокам с сенсоров, но и использовать встроенные алгоритмы компьютерного зрения, такие как SLAM (локализация с одновременным построением карты), чтобы получать данные о движении HoloLens в пространстве, а также алгоритмы пространственного сопоставления (spatial mapping), чтобы создавать трехмерные модели окружающей среды. Это возможно благодаря нескольким встроенным видеокамерам, которые дополняют цветную видеокамеру, обычно доступную приложениям.

HoloLens имеет четыре камеры слежения за окружающей средой, формирующие изображение в оттенках серого (grayscale), и датчик глубины для измерения расстояний и захвата жестов пользователя. Две grayscale-камеры настроены как стереоустановка, которая захватывает область перед устройством, так что расстояния до отслеживаемых визуальных элементов можно определять при помощи триангуляции. Две дополнительные grayscale-камеры помогают расширить поле зрения для функций отслеживания. Эти синхронизированные камеры с кадровым затвором (global-shutter) имеют гораздо большую светочувствительность, чем цветная камера, и формируют изображение со скоростью до 30 кадров в секунду (FPS).

Датчик глубины использует активную инфракрасную (ИК) подсветку для определения расстояния до объектов через «время пролёта». Эта камера может работать в двух режимах. Первый обеспечивает высокочастотное (30 FPS) измерение расстояний до близко расположенных объектов и обычно используется для ручного отслеживания, тогда как второй используется для низкочастотного (1–5 FPS) измерения расстояний до далеких объектов и в настоящее время применяется для пространственного сопоставления (spatial mapping). Кроме измерения расстояний, эта камера позволяет получать ИК-изображения с активным освещением, которые могут быть полезными сами по себе, поскольку ИК-излучение исходит непосредственно из HoloLens, и на него почти не влияет окружающий свет.

Исследователи по-прежнему могут использовать результаты, полученные встроенными алгоритмами компьютерного зрения, но теперь могут обращаться еще и к необработанным данным с сенсоров, чтобы использовать их в своих собственных алгоритмах. Потоки данных с сенсоров HoloLens можно обрабатывать непосредственно на устройстве, а также передавать по беспроводной связи на другой компьютер или в облако, если требуется большая вычислительная мощность. Это открывает перед HoloLens множество новых возможностей в области компьютерного зрения. Например, HoloLens можно использовать для анализа мира с точки зрения пользователя, носящего это устройство. Для такого применения ключевым преимуществом может быть способность HoloLens визуализировать результаты алгоритмов в 3D-мире, разворачивающемся перед пользователем. Кроме того, сенсорные возможности HoloLens могут быть очень полезными для робототехники: например, с их помощью робот может ориентироваться в окружающей среде.

Дякуємо: ko.com.ua

Оставить комментарий

Ваш email нигде не будет показан. Обязательные для заполнения поля помечены *

*