Что такое дополненная реальность (AR)

Восприятие человека ограничено физиологическими возможностями сенсорных органов. Поэтому уже тысячи лет для познания окружающего мира, облегчения работы и быта, а также для развлечений люди используют...

В каком-то смысле оптические приборы с линейками и шкалами, подзорные трубы, секстанты, микроскопы и телескопы дополняют реальность. Но все же под технологией дополненной реальности подразумевается именно компьютерная обработка информации об окружающем мире и достраивание виртуальных объектов на основе распознанных образов.

[ht_termine termine="Дополненная реальность (Augmented reality, AR)" transcript="это совокупность воспринимаемого человеком реального мира и встроенных в него с помощью компьютерных технологий виртуальных объектов. Дополненная реальность может расширять как визуальное, так и звуковое или тактильное восприятие."]

Развитие вычислительных технологий во второй половине XX века открыло возможность для создания систем, распознающих реальные объекты и отслеживающих их движение. Эти первые опыты в области компьютерного зрения уже позволяли встраивать простые геометрические фигуры в реальное окружение и взаимодействовать с ними.

Технология дополненной реальности

Для реализации первых AR-разработок были необходимы специальные громоздкие приборы, очки и шлемы. Современное развитие вычислительных технологий позволяет применять гораздо более компактные решения, а также использовать обычные смартфоны для взаимодействия с дополненной реальностью.

Один из используемых в AR подходов основан на внедрении в реальные объекты специальных меток для устройств считывания — смартфонов, AR-очков и т.д. Метками могут служить QR-коды, RFID или NFC-чипы.

Другой тип AR-решений позволяет дополнять любое окружение виртуальными объектами с помощью технологий компьютерного зрения. Приложение сканирует локацию с помощью камеры и размещает AR-объекты в этом пространстве. Такой подход является более универсальным, но может требовать больше вычислительных затрат.

Виртуальная и дополненная реальность

Нередко возникает путаница между двумя технологиями — VR и AR, хотя отличить их достаточно просто.

Под термином VR, или «виртуальная реальность», понимают технологию полной симуляции окружения. Через специальную аппаратуру человек получает зрительную, а также звуковую и тактильную информацию, описывающую искусственно созданную локацию.

Технология дополненной реальности подразумевает встраивание виртуальных объектов в реальной среде. Для восприятия AR обычно тоже необходимы специальные устройства, но происходит не создание окружения с нуля, а именно частичное дополнение восприятия.

Разработка дополненной реальности. История

Одним из первых устройств для виртуального погружения стал симулятор Sensorama, разработанный кинематографистом и изобретателем Мортоном Хейлигом в 1957 году. Аппарат демонстрировал человеку записанный от первого лица фильм, а также передавал вибрации и даже запахи. Хотя Sensorama работал по принципу виртуальной, а не дополненной реальности, изобретение дало импульс для развития обоих направлений.

Пользователь системы Sensorama и оператор, снимающий для материал для симуляции виртуального окружения

Первая разработка, которая позволила дополнить реальное окружение виртуальными объектами, появилась в 1968 году. Компьютерный специалист Айвен Сазерленд и его студент Боб Спраул создали AR-систему «Дамоклов меч». Испытуемый надевал на голову устройство, состоящее из очков с дисплеем, камеры и системы отслеживания взгляда. Из-за большого веса конструкции ее приходилось крепить к специальному кронштейну на потолке, благодаря которому изобретение и получило свое название. На стереоскопический дисплей очков транслировалось простое изображение геометрической фигуры, которое менялось в зависимости от движений головы и глаз.

В 1974 году появилось изобретение, которое позволило работать с AR без специальных очков и шлемов. Лаборатория искусственной реальности Videoplace состояла из набора различного оборудования, в том числе камер, проекторов и т.д. Система позволяла проецировать интерактивное изображение с силуэтами людей и виртуальными объектами.

В 1981 году канадский инженер Стив Мэнн разработал первое AR-устройство EyeTap, которое полностью крепилось на человеке. Система включала очки, оборудованные камерой и дисплеем, рюкзак с портативным компьютером и блоком с батареями. Впоследствии Стив Мэнн несколько раз модифицировал разработку, делая ее более компактной и функциональной.

Стив Мэнн с первым прототипом EyeTap

В 1982 году технологию дополненной реальности начали использовать в телевизионных прогнозах погоды. Для этого движения воздушных масс сканировали специальные радары и камеры из космоса.

Во второй половине 1980-х ВВС США начали применять технологию дополненной реальности для создания специальных AR-шлемов для военных летчиков.

В 90-е годы началось стремительное развитие AR-технологий. Впервые появился термин «дополненная реальность». Термин сформулировал Том Коделл, сотрудник научного отдела компания Boeing, которая в это время разрабатывала для своих инженеров AR-шлемы, позволявшие избавиться от неудобных и дорогих схем и диаграмм на фанере.

Революция в области создания микропроцессоров позволила разрабатывать все более и более компактные решения.

В 1993 году появился AR-шлем KARMA с интерактивной инструкцией для обслуживания принтеров.

В 1995 году Navicam, гаджет, по конструкции напоминающий современные планшеты — дисплей с камерой на обратной стороне корпуса, позволил распознавать цветные метки на объектах. Navicam на лету обрабатывал видеопоток с камеры и выводил на экран информацию о том или ином предмете.

В 1996 году появилась более совершенная система — CyberCode. Виртуальные объекты описывались с помощью двумерных штрих-кодов, похожих на современные QR-коды. При наведении камеры на такую CyberCode-метку система воспроизводила виртуальный объект.

В 1998 году НФЛ начала использовать AR в прямых трансляциях матчей. На видео со спортсменами на поле накладывались дополнительные технические линии и текущий счет.

В 1999 году NASA внедрила AR в приборную панель космического аппарата X-38. Благодаря новой системе можно было при любой погоде рассмотреть, что находится на Земле.

Разработка дополненной реальности. Инструменты для программистов

Первая открытая библиотека для написания AR-приложений появилась в 1999 году. Разработчик библиотеки Хироказу Като дал ей название ARToolKit. С помощью этой библиотеки можно писать программы, способные распознавать положение и ориентацию камеры в реальном времени.

Производители современных средств разработки, или SDK для AR-приложений, в первую очередь делают ставку на мобильные платформы — Android и iOS. Многие среды разработки поддерживают также и десктопные приложения.

Для работы с некоторыми AR-платформами необходим специальный набор устройств, например шлемы, инфракрасные датчики или несколько камер. Но разработчики достаточно быстро поняли, что использование дополненной реальности станет по-настоящему массовым, когда AR-приложения будут доступны для обладателей обычных смартфонов с одной камерой.

Для крупных IT-компаний запоздалое реагирование на появление новых технологий может стоить выгодных позиций на рынке в будущем. Часто присутствие компании в отрасли определяется не только и не столько продуктами, но и инструментами для разработчиков. Именно поэтому у таких гигантов, как Google и Apple, есть свои SDK для создания приложений с дополненной реальностью.

ARCore — это комплект инструментов для разработки AR под Android. Google представила первый релиз 1 марта 2018 года. Одним из преимуществ ARCore является поддержка различных API для работы с дополненной реальностью.

Среди основных возможностей фреймворка, которые позволяют объединять виртуальный и реальный мир, — отслеживание положения телефона относительно окружения и распознавание объектов окружающей среды, их размера, расположения поверхностей. Для того чтобы виртуальные объекты выглядели реалистично, алгоритмы Apple также оценивают освещение.

По сути, написанные на ARCore приложения отслеживают положение телефона в пространстве в реальном времени и интегрируют виртуальные объекты. А пользователи могут использовать свои смартфоны для взаимодействия с дополненной реальностью. Среди примеров реальных приложений, созданных с помощью ARCore, — Just a Line, ARuler, IKEA Place.

ARCore полностью бесплатна и поддерживает Android начиная с версии 7.0 и iOS выше 11-й версии.

ARKit — набор инструментов от компании Apple, предназначенный для разработки AR-приложений и игр для iPhone и iPad.

Первые версии ARKit предоставляли возможность отслеживать только статичные 2D-изображения. Начиная с ARKit 2.0 алгоритмы способны отслеживать перемещающиеся двухмерные изображения, а также распознают статичные 3D-объекты.

ARKit может создавать полигональную сетку лица. Приложения способны отслеживать интенсивность, температуру и направление света, а также взгляд и язык, это помогает распознать эмоции.

Платформа доступна бесплатно и поддерживает iOS начиная с 11-й версии. Для разработчиков, которые нацелены на дальнейшее распространение своих AR-программ, работает ежегодная подписка $99.

Многие разработчики, специализирующиеся на создании инструментов для написания AR-программ, предоставляют дорогостоящие фреймворки. Среди популярных решений для разработки — Vuforia, Wikitude и EasyAR.

Области применения AR

Первые AR-разработки относились скорее к научным экспериментам. Но с каждым новым витком развития технологии открывались новые прикладные области. Первыми сферами, на которые разработчики ориентировали свои изобретения, были обучение и технологический процесс. С помощью дополненной реальности можно наглядно показать сложные идеи и механизмы. На производственной линии AR может существенно упростить и удешевить процесс, как это было, например, с AR-шлемами для инженеров Boeing.

Современный уровень развития электроники и компьютерных наук открывает почти неограниченный простор для применения AR. Технологию используют ученые, врачи, артисты, производители игр, маркетологи и т.д.

Дополненная реальность в медицине

AR-решения в медицине могут помочь в обучении новых специалистов. Например, приложение ARnatomy помогает в изучении скелета человека. Немецкая программа PalpSim AR обучает студентов-медиков пальпированию пациентов.

Другие разработки позволяют контролировать состояние пациента во время операции без использования сложной системы датчиков.

Кроме того, технология дополненной реальности может сделать такие процедуры, как УЗИ, максимально наглядными.

Дополненная реальность может быть полезной и для пациентов. Специальное AR-устройство VA-ST дорисовывает очертания лица собеседника для людей с существенным нарушением зрения.

Дополненная реальность в образовании

Возможность одновременно держать перед глазами большое количество разнородной информации и интерактивное управление виртуальными элементами открывают большой простор для применения AR в образовательном процессе. Технология может помочь в изучении почти любого предмета. В математике — поможет понять геометрические построения, в истории — позволит реконструировать исторические события и совместит их с картами. В AR будут гораздо нагляднее и сложные химические формулы. Конечно, использование дополненной реальности в образовании требует хорошо продумывать и структурировать материал при создании учебных пособий.

Среди примеров применения AR в образовании — приложение New Horizon от японских разработчиков. Когда камера смартфона считывает страницы учебников, приложение достраивает анимированных персонажей, которые соответствуют изучаемому материалу.

Дополненная реальность в маркетинге

AR открывает множество возможностей в области продвижения и рекламы товаров и услуг. Например, нанесенные на рекламные щиты AR-метки позволяют считать информацию о рекламируемом товаре, а также мгновенно заказать его. В Китае набирают популярность виртуальные магазины, прилавки которых пользователь видит в дополненной реальности и там же выбирает, что купить.

Американская компания Matterport разрабатывает AR-решения на рынке недвижимости.

Некоторые журналы и издания размещают на своих страницах эффектную рекламу, которая позволяет подробно рассмотреть объемные модели автомобилей, мебели, гаджетов и любых других объектов.

Дополненная реальность и развлечения

Наиболее широко технология AR сегодня представлена в сфере развлечений. Большое внимание AR-развлечениям уделяют такие крупные игроки рынка, как компании Lego, Disney, Apple и другие.

Одни из наиболее захватывающих и популярных игр в дополненной реальности — это AR-шутеры.

Основанная в 1997 году Wearable Computer Lab портировала первую 3D-игру Quake в AR. Как и в оригинальной игре, в ARQuake игрокам приходилось сражаться с монстрами, но только встроенными в реальное окружение.

Father.IO — один из примеров шутеров от первого лица в дополненной реальности. Игроки используют смартфоны со специальным устройством, которое помогает определить противников на расстоянии 50 метров.

Сюжет игры разворачивается в 2040 году. Часть людей эволюционировали и стали существенно отличаться от обычных Homo sapiens. Зараженный вирусом искусственный интеллект пытается убить всех людей, которые не подверглись мутациям. Две команды игроков сражаются в дополненной реальности — одна состоит из мутантов, другая из обычных людей. Карта игры разделена на шестиугольники, каждый из которых контролирует одна из команд.

Участники могут стримить игру на YouTube или Facebook. Игра доступна бесплатно, но необходимо купить специальный гаджет для смартфона.

Pokemon Go — игра, которая дала мощный толчок развитию AR-направления в индустрии развлечений. Управление аватаром по виртуальной карте и поиск покестопов увлекли миллионы пользователей. Благодаря популярности игры произошло резкое увеличение прибыли и капитализации студии разработчиков Niantic, Nintendo и нескольких других связанных с игрой компаний.

Современные устройства дополненной реальности

Google Glass

Компания Google представила прототип своих умных очков Google Glass в 2013 году. На самом деле этот гаджет мало относился к технологии дополненной реальности, так как виртуальные элементы не взаимодействовали с окружающей средой.

В функционал очков были интегрированы некоторые из сервисов компании: Google Now, Hangouts, навигация, поиск в сети и переводчик. Также с помощью очков можно снимать фото и видео, которые сохранялись в облако, отправлять сообщения, узнавать погоду и информацию об авиарейсе, а также получить инструкцию по оказанию первой помощи. Управление Google Glass реализовано через голосовые команды. Например, с помощью фразы ok, glass, take a picture можно сделать фото.

Разработка Google не стала популярной, но дала сигнал другим корпорациям: новый рынок и новое поле для конкуренции начали активно формироваться.

В 2015 году Google приостановила производство Glass.

Microsoft HoloLens

В 2016 году Microsoft представила свой гаджет HoloLens, который работает на специальной версии Windows 10. Для обработки огромного количества информации компания разработала специальный процессор.

HoloLens до сих пор недоступен для обычных пользователей, так как продукт в первую очередь ориентирован на бизнес-клиентов — NASA, Volvo, Disney и Universal.

Гаджет позволяет работать с обычным оконным интерфейсом в дополненной реальности и размещать окна в пространстве. Кроме того, для HoloLens реализованы несколько игр, туристическое приложение HoloTour, редактор 3D-моделей HoloStudio, а также наглядное пособие по анатомии HoloAnatomy. В устройство портированы Paint 3D и Skype.

Перспективы

Свои концепты AR-очков и шлемов разрабатывают многие крупные компании и стартапы, в числе которых Vuzix, Sony, ODG, Solos, Magic Leap и другие.

Однако сейчас наиболее востребован рынок мобильных приложений с возможностями AR, которые имеют конкретное утилитарное применение. Сложные и дорогие гаджеты вызывают энтузиазм, но пока что недоступны и не очень нужны массовому потребителю.

Среди приложений, которые уже пользуются спросом:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3D-окружении.
Мобильная реализация Google Translate, которая умеет переводить текст в реальном времени.
Sun Seeker — приложение, которое определяет траекторию солнца на любой местности и в любое время.
Google Sky Map — позволяет изучить карту звездного неба.

Одной из наиболее заинтересованных в развитии AR компаний является Facebook. Сейчас корпорация внедряет в свои продукты AR-маски и другие эффекты. Также известно, что программисты Facebook разрабатывают алгоритмы трекинга всего тела, а не только лица, что позволит распознавать фигуры и позы.

На сегодняшний день большинство успешных AR-разработок сосредоточено в области развлечений, а значит, и разработчики в первую очередь ориентируются на эту сферу. Но дальнейшее развитие технологии и внедрение в науку, здравоохранение, системы безопасности и быт рядовых пользователей — лишь вопрос времени и увеличения объема инвестиций. Так что уже в ближайшие несколько лет можно ожидать повсеместного распространения дополненной реальности в самых разных продуктах и сервисах.