Improving ergonomic parameters of head-mounted display in augmented reality glasses for civil aviation

Ivan I. Greshnikov; Грешников Иван Игоревич; Dmitry A. Davydov; Давыдов Дмитрий Андреевич; Bogdan I. Gonchar; Гончар Богдан Игоревич; Andrey V. Sokolov; Соколов Андрей Вячеславович; Darya V. Konovalova; Коновалова Дарья Витальевна

doi:10.15827/0236-235X.149.157-165

Improving ergonomic parameters of head-mounted display in augmented reality glasses for civil aviation

Authors: Greshnikov I.I.¹, Davydov D.A.¹, Gonchar B.I.¹, Sokolov A.V.¹, Konovalova D.V.¹
Affiliations:
1. State Research Institute of Aviation Systems (GosNIIAS)
Issue: Vol 38, No 1 (2025)
Pages: 157-165
Section: Articles
URL: https://journal-vniispk.ru/0236-235X/article/view/290540
DOI: https://doi.org/10.15827/0236-235X.149.157-165
ID: 290540

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

The paper analyzes existing solutions in the field of head-mounted display. The authors offer their own concept of pilot and navigation information presentation in augmented reality glasses for applying in civil aviation. The main purpose of the developed display is to provide the pilot with the necessary flight and navigation information at the target flight phase. The research method consists in analyzing the existing solutions, identifying their shortcomings and adjusting the developed indication based on the recommendations of experienced pilots. The authors have identified the main features of flight and navigation information presentation that contribute to the ergonomic performance improvement. For example, using independent graphical layers of flight and navigation information objects, changing image layout depending on a flight phase, using several colors, voice control to display the required display layer. Consequently, the authors presented the software that allows projecting graphic images of flight and navigation information mnemonic symbols into the cockpit external space simulated in Unity environment. These display objects are placed according to the following parameters or to their combination: position of the glasses, path velocity vector, airplane construction axis, cockpit external space. The developed software also allows adding graphic layers from synthesized and enhanced vision systems. The paper presents a head-mounted display demonstrator based on this concept. The authors reviewed the architecture and functionality of the demonstrator including pilot-visible images in augmented reality glasses. The practical significance of this work is in the improvement of head-mounted display ergonomic parameters in comparison with the existing display variants of pilot navigation information.

Keywords

head-mounted display, flight and navigation information, augmented reality glasses, ergonomic performance

Full Text

Введение. Активное развитие компонентов информационно-управляющего поля (ИУП) кабины пилотов прежде всего связано с необходимостью повышения уровня безопасности полетов. Ограниченная видимость при пилотировании воздушного судна на малых высотах и при рулении по взлетно-посадочной полосе остается одним из самых весомых факторов, влияющих как на безопасность, так и на эффективность воздушных перевозок.

Для решения данной проблемы разрабатываются средства отображения летному экипажу самолета гражданской авиации оптимального объема информации, необходимой для эффективного управления транспортным средством: используются голографические отображения на лобовом стекле, появляются гибкие прозрачные экраны – пленки, увеличиваются и улучшаются характеристики жидкокристаллических экранов, применяются сенсорные экраны и т.д. [1, 2].

Вместе с тем при существующем разнообразии средств и способов выдачи информации пилоту возникает проблема загруженности летного экипажа, которая заключается в большом количестве одновременно поступающей информации, что обусловливает актуальность задачи разработки оптимальной индикации. В данной работе рассматривается возможность использования очков дополненной реальности для оценки и повышения эргономических показателей информационного (а в потенциале и информационно-управляющего) поля кабины пилотов.

Целью настоящего исследования является разработка концепции пилотажно-навигационной индикации в очках дополненной реальности для применения на самолетах транспортной категории, которая имеет свою специфику, связанную со снижением нагрузки на пилотов и предоставлением своевременной информации для поддержания ситуационной осведомленности. Также важным компонентом подобной индикации должна быть система технического зрения, обеспечивающая возможность пилотирования и навигации в условиях низкой видимости.

Научная новизна работы заключается в новом способе отображения необходимой пилотажно-навигационной информации (ПНИ) для пилотов. Представленная в исследовании концепция отображения пилотажно-навигационной индикации сочетает в себе элементы концепции отображения ПНИ на индикаторах на лобовом стекле, используемых на многих современных воздушных судах, а также отображение слоев улучшенного и синтезированного видения. В настоящее время отображение данных слоев ПНИ реализовано в основном на пилотажных дисплеях. Данный способ позволяет снизить информационную нагрузку и повысить качество восприятия комплексной информации пилотами.

Анализ существующих систем на основе дополненной реальности

В настоящий момент сфера технологий дополненной реальности AR (Augmented Reality) вызывает интерес у авиакомпаний, технологии дополненной реальности используются для обучения экипажей, технического обслуживания самолетов и развлечения пассажиров [3, 4]. Актуальной тенденцией является также использование очков дополненной реальности в качестве способа отображения пилоту ПНИ [5–7]. Подобные разработки есть у компаний «Aero Glass» и «Thales».

Компания «Microsoft», используя очки дополненной реальности собственного производства , заключила крупный контракт с военными на поставку системы IVAS (Integrated Visual Augmentation System), реализованной на базе данных очков. Система оснащена датчиками ночного видения и тепловизорами высокого разрешения. Основной задачей комплекта считается повышение ситуационной осведомленности пехотинцев. При поездке на бронетехнике бойцы могут получать сигнал с ее внешних камер и следить за окружающей обстановкой. Это упрощает своевременное обнаружение угроз для пехоты или техники, а также обеспечивает безопасную высадку.

Проект Brilliant Eyes, разработанный компанией «Aerocross Systems», ориентирован на рынок самолетов малой авиации. В нем использованы компактные очки дополненной реальности, на которые выводится традиционный набор информации: высота, курс, пространственное положение, приборная и вертикальная скорости. Чтобы обеспечить соответствие представления данных положению головы пилота во время полета, в настоящее время в рамках проекта ведется разработка системы отслеживания положения головы.

Шлем «Глаз Бога» (http://www.swsys.ru/uploaded/image/2025-1/16.jpg) в режиме дополненной реальности позволяет видеть пилоту сквозь обшивку самолета за счет поступления информации с системы камер, расположенных на фюзеляже. При этом ему транслируется цельное видео без задержек. Например, пилот может видеть не кресло, а горы под ногами с высокой степенью детализации. Имеется возможность приближать и отдалять изображение. В шлеме также есть режим ночного видения, реализованный за счет использования инфракрасных камер. Кроме того, бортовой компьютер умеет различать своих и чужих. Когда система видит врага, она определяет его уровень опасности, предлагая использование наиболее подходящего вооружения. Чтобы уничтожить врага, пилоту нужно только подать голосовую команду. Помимо этого, все высокоточное целеуказание бортовых орудий завязано на движении головы и глаз летчика.

Объединенная авиастроительная корпорация приступила к испытаниям шлема для летчиков со встроенной системой индикации. Такой шлем, оснащенный системой дополненной реальности, должен значительно упростить управление самолетом и улучшить ситуационную осведомленность летчика. Шлем заменяет сразу несколько приборов и оснащен большим количеством датчиков. Они улавливают движения головы пилота и в зависимости от ее поворота проецируют на очки информацию, необходимую в данный момент. Пилоту остается только нажимать нужные кнопки на рукоятке. Прототип оснащен функцией проецирования картинки с полем боя на очки шлема. Также планируется использование технологии дополненной реальности, позволяющей выводить на стекло шлема информацию, которую летчик не может получить визуально. Основные функции нашлемной системы видения – отображение в поле зрения пилота видеоинформации от каналов технического зрения для обеспечения пилотирования, поиска, обнаружения и распознавания объектов на местности, посадки на необорудованные и неосвещенные площадки в простых и ограниченно сложных метеорологических условиях днем и ночью.

Рассмотренные проекты и технологии, ориентированные прежде всего на военную и малую авиацию, являются многообещающими и потенциально могут значительно увеличить эффективность человеко-машинного взаимодействия.

Предлагаемая концепция создана с учетом современных технологий разработки авиационной индикации [8] и с применением целеориентированного проектирования [9, 10].

В рамках исследования ставились следующие задачи:

разработка концепции индикации в очках дополненной реальности, учитывающей особенности полетов транспортной и пассажирской авиации;
разработка программной архитектуры и реализации концепции в очках дополненной реальности Microsoft Hololens 2;
интеграция очков в универсальный стенд прототипирования кабины пилотов и проведение испытаний с участием летных экспертов.

Концепция отображения ПНИ в очках дополненной реальности

Предполагается отображение индикации изображения пространственного положения самолета и основной пилотажной информации, навигационной информации, синтезированного изображения рельефа местности, элементов аэродромной инфраструктуры на основе БД, а также других вспомогательных символов, изображения от системы улучшенного видения на основе информации, полученной от телевизионной и инфракрасных камер.

Все пилотажные и навигационные объекты и мнемосимволы, отображаемые в очках дополненной реальности, условно разделены на несколько категорий: объекты, привязанные к положению очков, к вектору путевой скорости FPV (Flight Path Vector), к строительной оси самолета, к закабинному пространству,
а также объекты, одновременно привязанные к FPV и к положению очков.

Объекты, привязанные к положению очков, отображаются так, чтобы геометрический центр прямоугольника, который они составляют, совпадал с геометрическим центром прямоугольника поля зрения очков, а угловое положение изображения было привязано к полю зрения очков (рис. 1). К данным объектам относится важная информация, необходимая для регулярного контроля, такая как барометрическая высота, приборная скорость, угол атаки и т.п.

Рис. 1. Объекты, привязанные к положению очков (слева) и к закабинному пространству (справа)

Fig. 1. Objects linked to the glasses position (left) and to the cockpit external space (right)

Объекты, привязанные к закабинному пространству, накладываются на соответствующие им объекты реального мира или рядом с ними (взлетно-посадочная полоса, интрудеры и т.д.). Примером таких объектов могут служить навигационные символы, так называемая дорога в небе, которые визуализируют заданную траекторию движения, отображаемую в соответствии с маршрутом, предоставленным системой самолетовождения, или с данными от курсоглиссадной системы. Заданная траектория движения обозначается набором прямоугольных символов, расположенных вдоль траектории движения с определенным шагом.

Отдельно стоит выделить объекты, привязанные к строительной оси воздушного судна и к FPV (рис. 2). FPV является важным мнемосимволом, указывающим фактическое направление движения самолета, которое практически никогда не совпадает со строительной осью самолета. Он особенно важен на этапе посадки. При боковом ветре именно этот символ совместно с планками отклонения помогает произвести посадку, поэтому вместе с ним группируются и другие важные для фазы посадки мнемосимволы – указатель заданного направления, индекс превышения заданной скорости, радиовысота и т.п.

Рис. 2. Объекты, привязанные к FPV (слева), к строительной оси самолета (по центру) и одновременно привязанные к FPV и к положению очков (справа)

Fig. 2. Objects linked to FPV (left), to the airplane construction axis (center) and simultaneously linked to FPV and to the glasses position (right)

Горизонтальное положение объектов, привязанных к строительной оси самолета, определяется таким образом, чтобы вертикальная плоскость, проходящая через продольную ось самолета, проходила через вертикальную ось прямоугольника, который составляют данные объекты. Вертикальное положение символа самолета привязано к его строительной оси, а угловое положение всего изображения – к кабине пилотов.

Также имеются объекты, одновременно привязанные к FPV и к положению очков. Если FPV выходит за пределы (http://www.swsys.ru/uploaded/image/2025-1/17.jpg), то все объекты, связанные с FPV, помещаются в специальный круг. Центр этого круга всегда лежит на линии, соединяющей истинное положение FPV и геометрический центр прямоугольника поля зрения очков, причем круг непременно соприкасается своей границей с одной или двумя сторонами красного прямоугольника. Угловое положение изображения вычисляется так же, как и для объектов, привязанных к FPV. Следует отметить, что выход FPV за обозначенные границы может происходить в результате как естественных причин (например, вследствие воздействия ветра), так и поворота головы.

Важной составляющей концепции является изменение компоновки графических объектов в зависимости от фазы полета. В результате проведенных исследований было разработано пять вариантов компоновки для следующих фаз полета: от гейта до отрыва, от отрыва до посадки не ниже 1 500 ft, от 1 500 ft до 100 ft, от 100 ft до касания, от касания до гейта.

В зависимости от фазы полета перед экипажем воздушного судна встают различные задачи. Если при относительно спокойном полете на эшелоне задача сводится к периодическому контролю пространственного положения и корректности следования по маршруту, то на этапе посадки когнитивная нагрузка возрастает и все внимание экипажа сосредоточивается на пилотировании, в том числе выдерживании посадочной скорости, глиссады, пространственного положения самолета, выравнивания, касания и пробега.

Данное обстоятельство обусловливает необходимость динамически изменять компоновку и наполнение кадра индикатора на лобовом стекле. На менее интенсивных этапах полета наполненность кадра максимальная, то есть пилоту дается вся возможная информация. На более интенсивных этапах на индикаторе остается лишь самая необходимая информация, не превосходящая возможный объем восприятия пилота на данном этапе и обеспечивающая наиболее безопасное выполнение процедур данного этапа.

Разбег и следующий за ним взлет – один из наиболее ответственных этапов полета. Цена ошибки на данном этапе крайне высока. После скорости V1 на некоторых самолетах блокируется даже информация о пожаре двигателя, так как пилот все равно вынужден взлетать и лишний стресс в этой ситуации ему ни к чему. Следовательно, информационная насыщенность индикатора на лобовом стекле на данном этапе минимальная.

Во время крейсерского полета пилотирование, как правило, перекладывается на автопилот, поэтому активных действий от пилота на данном этапе не требуется. В целом отпадает и необходимость в индикаторе на лобовом стекле. Если экипаж все же имеет желание использовать такой индикатор, то для этого предусмотрен специальный режим отображения всей нужной для полета на эшелоне информации.

Во время захода на посадку наиболее значимы выдерживание заданной глиссады, а также своевременный визуальный контакт с полосой (за исключением посадки по категории IIIC). Скорость выставляется на автопилоте, пилот контролирует ее значение лишь в процессе захода. Динамика изменения высоты также теряет значение при точном заходе или при ручном заходе с включенным режимом синтезированного/улучшенного видения. Вследствие этого шкалы приборной скорости и баровысоты не индицируются, отображаются только цифровые значения данных параметров.

После отметки в 100 футов до касания взлетно-посадочной полосы остается не более 10 секунд. На таком коротком интервале самолет не может значительно изменить приборную или вертикальную скорость, поэтому главное – выравнивание самолета и своевременное увеличение угла тангажа в момент касания взлетно-посадочной полосы. Для этого пилоту требуется минимальное количество информации: радиовысота, шкала тангажа, FPV, авиагоризонт, синтезированное/улучшенное изображение полосы.

После касания взлетно-посадочной полосы наступает фаза пробега. От пилота требуются удерживание самолета по центру полосы (что в условиях плохой видимости может выполняться при помощи индекса горизонтальной девиации), а также успешное торможение, степень эффективности которого может быть оценена при помощи шкалы воздушной скорости. Компоновка кадра на данном этапе будет следующая: шкала воздушной скорости, шкала и индекс отклонения по горизонтали, авиагоризонт.

Не стоит недооценивать важность выбора цветовой палитры, так как от этого зависят своевременность и качество восприятия информации. Использование исключительно зеленого цвета на традиционных индикаторах на лобовом стекле связано с особенностями технической реализации данных устройств [11]. В очках дополненной реальности подобное ограничение отсутствует, поэтому возможны применение любых цветовых оттенков и создание кадров, аналогичных по цветовой насыщенности кадрам на дисплеях приборной доски. Однако к использованию насыщенной цветовой палитры в очках дополненной реальности следует относиться осторожно. В результате ряда экспериментов было установлено, что большое количество цветов может приводить к сложности распознавания реальных объектов закабинной обстановки и информации с приборной доски, поэтому наиболее целесообразно сохранять традиционный цвет, используемый на индикаторах на лобовом стекле, – зеленый, за исключением индикации опасных режимов, а также индикации, на которую требуется немедленная реакция со стороны пилота (например, достижение высоты принятия решения).

В ситуации, когда видимость за кабиной не позволяет четко различать рельеф окружающей местности и объекты наземной инфраструктуры, может быть включен режим синтезированного видения. При этом из БД берется соответствующая информация о рельефе окружающей местности и объектах наземной инфраструктуры и с использованием координат и направления движения воздушного судна проецируется на реальный мир. Изображение проецируется во всех направлениях, таким образом, поворачивая голову, пилот может обозревать пространство вокруг себя. Например, при посадке с сильным боковым ветром, немного повернув голову в сторону, пилот может наблюдать взлетно-посадочную полосу как бы сквозь обшивку самолета.

Режим синтезированного видения имеет определенные недостатки:

БД может быть устаревшей и не охватывать недавно возведенные объекты;
не могут быть учтены объекты, внезапно оказавшиеся на взлетно-посадочной полосе;
возможна погрешность в вычислениях текущих координат и направления движения воздушного судна.

В силу данных причин вместе с режимом синтезированного видения рекомендуется применять режим улучшенного видения. Поскольку изображение улучшенного видения формируется на основе данных с телевизионной и инфракрасной камер, направленных вдоль продольной оси самолета, область отображения улучшенного видения ограничена областью охвата данных камер.

Демонстратор ИУП кабины воздушного судна гражданской авиации с наголовной индикацией

Для отработки комплексной ПНИ был использован специальный демонстратор ИУП кабины воздушного судна гражданской авиации (рис. 3). Архитектура демонстратора представлена на рисунке 4.

Рис. 3. Демонстратор ИУП кабины воздушного судна гражданской авиации с наголовной индикацией

Fig. 3. Airplane cabin control field stand with head-mounted indication

Рис. 4. Архитектура демонстратора ИУП кабины воздушного судна с наголовной индикацией

Fig. 4. Architecture of airplane cabin control field stand with head-mounted indication

В контексте данного исследования разработана оригинальная программная оболочка на языке высокого уровня, позволяющая проецировать графические изображения мнемосимволов пилотажно-навигационной индикации на имитируемую средствами среды Unity закабинную обстановку, а также добавлять графические слои от систем синтезированного и улучшенного видения [12].

Программная реализация элементов ПНИ представляет собой подготовленные в Adobe Illustrator изображения, наложенные в среде Unity на плоскость. Элементы индикации, визуализация которых проблематична или невозможна в плоскостном виде (например, шкала тангажа или линия горизонта), реализованы в виде 3D-моделей, выполненных в среде Blender. Для отображения динамики и функционирования индикации в целом написана кодовая база на языках программирования C# и C.

Изображение аэродромной инфраструктуры на слое синтезированного видения формируется с помощью алгоритмов на языке программирования C# из специализированных БД. В случае имитации рельефа местности используются карты высот в виде набора изображений с цветами пикселей от белого к черному (где белый цвет – минимальное значение высоты рельефа, черный – максимальное), также реализован альтернативной вариант с цветной градацией. Для создания итогового изображения ландшафта в очках используются шейдеры – набор инструкций, сообщающих очкам, каким образом формировать изображение.

Для моделирования работы системы улучшенного видения используется имитатор изображения с инфракрасной наружной камеры самолета. В целях построения изображения в очках дополненной реальности применяются алгоритмы, которые преобразуют массив информации, передающийся из имитатора трансляции наружной камеры, в проецируемое на плоскость изображение.

На рисунке 5 показан вариант индикации, совмещающий слои ПНИ и синтезированного видения на этапе руления. Как можно заметить, количество пилотажных мнемосимволов на этом этапе существенно сокращено, оставлены только мнемосимволы, необходимые для выполнения руления и торможения.

Рис. 5. Руление по взлетно-посадочной полосе

Fig. 5. Taxiing on a runway

Для управления индикацией слоев (включения/выключения каждого из них), а также регулировки их прозрачности разработано специальное ПО, в том числе реализовано голосовое управление слоями, что существенно упрощает оперативную настройку индикации. В качестве наголовного устройства использовались очки дополненной реальности Microsoft Hololens 2, имеющие достаточно большое поле обзора для нужд прототипирования наголовной пилотажно-навигационной индикации.

Заключение

На основе проведенного анализа имеющихся решений в области наголовной индикации осуществлен синтез демонстратора ИУП каби

ны перспективного самолета гражданской авиации. Данный демонстратор апробирован с участием пилотов-экспертов и специалистов по сертификации и оценен положительно. Научно-технический задел, полученный в результате работы, может быть использован при прототипировании ИУП кабины пилотов и в составе бортовых перспективных комплексов самолетов гражданской авиации.

Отмечено, что данная технология существенно снижает нагрузку на экипаж за счет следующих факторов:

снижается необходимость переводить взгляд из зоны закабинного пространства в зону приборной индикации, так как значительная часть требуемой информации отображается непосредственно в очках;
применение более одного цвета для формирования изображения (в отличие от традиционного ИЛС) позволяет более четко определять опасные режимы и выходы за эксплуатационные ограничения;
изменение компоновки в зависимости от фазы полета дает возможность концентрироваться на важной именно для текущего момента информации, что особенно критично на таких интенсивных режимах полета, как взлет и посадка.

Использование наголовной индикации в кабине перспективных воздушных судов реализует потенциальные преимущества для производителей самолетов, авиакомпаний и пилотов, связанные с оптимизацией ИУП кабины, поэтому целесообразно продолжать развитие и внедрение наголовной индикации в составе перспективных ИУП с учетом научно-технического задела, полученного в рамках данной работы.

About the authors