Analysis of variability in the dynamics of emotional expressions using Open Face software

Full Text

Проблема

В рамках нейрокультурной теории эмоций П. Экмана (Ekman, 1994) задача распознавания эмоционального состояния человека по выражению лица решается соотнесением с нормативными эталонами, опирающимися на проявление единиц действия (Action Units) (Etman et al, 2002a; 2002b). При этом эмпирическое обоснование нормативов отсутствует. Давая характеристики эмоциональных экспрессий, Экман признает: «В идеале должны быть различные источники доказательств того, что комбинация единиц действия является признаком эмоции. Сюда будут включены кросс-культурные данные и данные о развитии, которые покажут, как возникновение комбинации единиц действия связано с обстоятельствами окружающей среды, субъективным опытом, психофизиологическими изменениями, другим двигательным поведением, вокализацией, речью и поведением других взаимодействующих лиц, наблюдающих единицы действия. Ни для одной из записей <…> таких полных доказательств не существует <…>» (Ekman et al, 2002a; P. 173). В противовес экмановской теории Алан Фридлунд сформулировал теорию The Behavioral Ecology View of facial displays (BECV), рассматривающую выражения лица как «социальные инструменты», имеющие смысл в рамках контекста взаимодействия с другими людьми. Для выражений лица наиболее важно, как они функционируют в социальных взаимодействиях (Crivelli, Fridlund, 2019). Фридлунд предлагает использовать «подход, основанный на данных», то есть изучать феноменологию выражений эмоциональных экспрессий в социальных коммуникациях.

Цель работы

Настоящее исследование представляет собой попытку проведения феноменологического описания стандартизованных видеозаписей эмоциональных экспрессий лица. Для решения данной задачи одновременно используется два подхода: анализ на основе автоматически выделяемых априорных единиц действия (Action Units) и анализ на основе эмпирически выделяемых характерных комплексных мимических паттернов. Опираясь на координаты ключевых точек (facial landmarks) на поверхности лица, методом главных компонент можно выделить согласованные комплексные паттерны изменения их координат. В таком случае итоговая динамика лица может быть описана как сумма выделенных паттернов, каждый из которых характеризуется пространственным вектором изменения направления координат ключевых точек относительно среднего значения и вектором интенсивности, описывающим изменение интенсивности данного паттерна во времени.

Метод

В качестве видеоматериала для отработки методов анализа использовалась база видеозаписей эмоциональных экспрессий лица ADFES. Из базы были взяты фронтальные видеозаписи 12 натурщиков североевропейского типа без поворотов головы к наблюдателю или от наблюдателя. Каждый натурщик демонстрировал следующие эмоциональные экспрессии: страх, гнев, удивление, печаль, радость, отвращение, презрение, гордость, разочарование. Разработчики базы сообщают, что натурщикам предварительно был выдан фотоальбом с примерами демонстрации эмоциональных экспрессий. Также перед видеозаписью натурщики в течение часа выполняли тренировку перед зеркалом. В процессе видеозаписи инструкторы постоянно контролировали натурщиков и добивались «стандартизованного» способа изображения экспрессий лица, при котором задействовались ключевые AU. Фильмы монтировались так, чтобы продолжительность видеозаписи составляла 6 сек, при этом первые 0.5 сек демонстрировалось нейтральное лицо, затем происходил переход к необходимой экспрессии и ее удержание на максимальной интенсивности в течение всего видео (Shalk et al, 2011). Разрешение видеозаписей 720х576 px, 25 fps, заявленная продолжительность каждой записи 6 сек, что составляет 150 кадров. Поскольку для некоторых видеозаписей фактическая продолжительность была меньше 150 кадров, была установлена единая продолжительность анализа – 5 сек (125 кадров).

Для первичной обработки данных используется ПО OpenFace 2.0. (Baltrušaitis et al, 2018). Для локализации положения – 68 ключевых точек (facial landmarks) в трехмерном пространстве – программа использует априорную параметрическую трехмерную модель головы человека. Подстроечные параметры модели варьируются до достижения наилучшего согласия с эмпирическими данными; автор программы обозначает используемый алгоритм как Point Distribution Model (PDM).

Модель включает 6 rigid parameters, соответствующих трансформациям лица, не затрагивающим изменение его выражения:

p_scale – масштаб изображения (scale);

p_rx – поворот по оси X (rotation);

p_ry – поворот по оси Y (rotation);

p_rz – поворот по оси Z (rotation);

p_tx – смещение по оси X (translation);

p_ty - смещение по оси Y (translation).

Также модель включает 34 non-rigid shape parameters (NRSP). Данные параметры связаны с изменением выражения лица модели. Состав данных параметров получен автором программы OpenFace на основе анализа репрезентативной выборки статических фотоизображений лиц натурщиков. В документации не приводится вербальная характеристика NRSP. В то же время в исходном коде программы данные параметры представлены в виде трехмерных векторов, кодирующих направление смещения каждой из 68 ключевых точек. Величина смещения пропорциональна весу конкретного подстроечного параметра в данный момент времени. Таким образом, для наглядной визуализации NRSP можно вывести координаты ключевых точек в двухмерном или трехмерном пространстве, а характерную величину смещений отобразить в виде отрезков прямых или стрелок, выходящих из ключевых точек в направлении смещения (Рис.1, Рис. 2, Рис. 3).

Рис. 1. 2D визуализация NRSP p_0 … p_11 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Рис. 2. 2D визуализация NRSP p_12 … p_23 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Рис. 3. 2D визуализация NRSP p_24 … p_33 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Для каждого кадра видеозаписи OpenFace вычисляет: 3D координаты 68 ключевых точек, значения 40 подстроечных параметров модели и градуальные значения интенсивности 17 Action Units по П. Экману. Метод детекции AU подробно описан в (Baltrušaitis et al, 2015). Проводимое исследование носит пилотный характер и направлено на изучение феноменологии динамики экспрессий, отработку оптимальных способов ее описания, оценку возможностей ПО OpenFace. Отталкиваясь от предоставляемых ПО OpenFace возможностей, была выработана следующая схема поиска показателей, связанных со специфической динамикой лица:

1) анализ значений подстроечных параметров PDM, вычисляемых OpenFace;

2) анализ интенсивности Action Units, вычисляемых OpenFace;

3) анализ нагрузок эмпирических главных компонент, вычисляемых на основе координат ключевых точек раздельно для каждого набора данных;

4) анализ нагрузок эмпирических главных компонент, вычисляемых на основе координат ключевых точек для объединенного набора данных.

Для каждого из 40 подстроечных параметров PDM рассчитываются:

1) согласованность временной динамики параметра для 12 временных рядов, соответствующих разным натурщикам, включенным в базу. В качестве показателя согласованности используется медианное значение коэффициента корреляции Пирсона между 12 временными рядами (R_med_time). Для дальнейшего анализа выбираются показатели с R_med_time ≥ .70;

2) стандартное отклонение параметра на объединенном наборе данных (12 натурщиков);

3) процент вариативности, объясняемой данным параметром как отношение стандартного отклонения данного параметра к сумме стандартных отклонений всех 40 подстроечных параметров модели.

Для каждого из 17 значений интенсивности Action Units рассчитыва- ются:

1) согласованность временной динамики интенсивности для 12 временных рядов, соответствующих разным натурщикам, включенным в базу. Для дальнейшего анализа выбираются показатели с R_med_time ≥ .70;

2) стандартное отклонение интенсивности на объединенном наборе данных;

3) процент вариативности, объясняемой интенсивностью данной AU как отношение стандартного отклонения интенсивности AU к сумме стандартных отклонений всех 40 подстроечных параметров модели.

Для дальнейшего анализа отбираются подстроечные параметры модели и AU, характеризующиеся высокой временной согласованностью, которая интерпретируется как указание на то, что динамика данных показателей связана с динамическим выражением соответствующей эмоциональной экспрессии.

Поиск индивидуальных комплексных динамических паттернов, связанных с выражением соответствующей эмоциональной экспрессии, выполняется с помощью анализа главных компонент раздельно для каждой из 12 видеозаписей, обработанных OpenFace. Входными показателями анализа главных компонент являются соответствующие наборы данных 3D координат 68 ключевых точек. По результатам анализа для каждой эмпирической главной компоненты вычисляются:

1) согласованность временной динамики интенсивности для 12 наборов данных;

2) пространственная согласованность, т.е. согласованность векторов, кодирующих данную главную компоненту для каждой из видеозаписей;

3) медианное стандартное отклонение величины главной компоненты для 12 наборов данных;

4) медианный процент вариативности, объясняемой интенсивностью главной компоненты для 1 наборов данных.

Для дальнейшего анализа отбираются главные компоненты, характеризующиеся хорошей временной и пространственной согласованностью, относительно высокой объясняемой вариативностью.

Поиск обобщенных комплексных динамических паттернов выполняется с помощью анализа главных компонент для объединенного набора данных. Для каждой обобщенной главной компоненты рассчитываются:

1) согласованность временной динамики для 12 временных рядов, соответствующих разным натурщикам, включенным в базу;

2) стандартное отклонение главной компоненты на объединенном наборе данных;

3) процент объясняемой вариативности на объединенном наборе данных.

Результаты

С целью сокращения объема текста для экспрессии страха описание будет дано в полном объеме, включая рисунки временной развертки хорошо согласованных по времени подстроечных параметров Point Distribution Model, Action Units, первой главной компоненты раздельно для 12 видеозаписей, главных компонент с хорошей временной согласованностью для объединенного набора данных. При описании остальных эмоциональных экспрессий будут приведены только пространственные реконструкции главных компонент. Изображения временной развертки будут опущены.

В таблицах, содержащих характеристики главных компонент, последний столбец Δ содержит символ «+», если соответствующая компонента возрастает при переходе от нейтрального лица к экспрессии максимальной интенсивности, символ «–», если соответствующая компонента убывает. Для компонент, не включенных в анализ, колонка остается пустой.

Результаты анализа: видеозаписи экспрессии страха

По Ekman et al (2002) экспрессии страха соответствуют комплексы: AU1 + AU2 + AU4 + AU5 + AU20 + AU25, AU26, AU27; AU1 + AU2 + AU4 + AU5 + AU25, AU26, AU27. По Schalk et al (2011) натурщики при демонстрации экспрессии страха должны были показывать комплекс AU1 + AU2 + AU4 + AU5DE + AU20 + AU25. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 11 подстроечных параметров и 2 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 1. Временная развертка первых трех секунд динамики показателей представлена на Рис. 4, 5.

Визуальный анализ показывает согласованное изменение значений для 12 временных рядов в районе времени t = 1 сек – 1.5 сек, т.е. примерно того времени, когда, согласно разработчикам ADFES, на видео выполнялся переход от нейтрального лица к экспрессии максимальной интенсивности. Выделенные AU не входят в признаки экспрессии страха. Для AU1, AU2, AU5 интенсивность при t < 1 сек нулевая, при t > 1 сек интенсивность больше нуля, нерегулярная, несогласованная. Для AU4 интенсивность положительная, несогласованная на всем интервале анализа.

Таблица 1. Видеозаписи экспрессии страха: глобальные априорные показатели с высоким уровнем временной согласованности.

Примечание: Приведены названия показателей, me R(t) – медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности. Здесь и далее: Δ – направление согласованного изменения показателя: + возрастание, – уменьшение.

Рис. 4. Временная развертка подстроечных параметров PDM (экспрессия страха). Примечание: По горизонтали время от 0 до 3 сек. По вертикали – величина подстроечного параметра.

Рис. 5. Временная развертка AU (экспрессия страха). Примечание: По горизонтали время от 0 до 3 сек. По вертикали – интенсивность AU.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (83%), хорошей согласованностью временных рядов (0.92) и средней согласованностью пространственных векторов (0.47), кодирующих первую главную компоненту. На временной развертке видно согласованное изменение нагрузки первой главной компоненты на интервале t = 1—1.5 сек. Результаты представлены в Таблице 2, на Рис. 6, Рис. 7. Как видно из Рис. 6, нагрузка первой главной компоненты уменьшается при переходе от нейтрального лица к экспрессии страха. Соответственно, характерное изменение лица на Рис. 7 соответствует движению головы вперед с одновременным поднятием бровей. Динамика рта и глаз у разных натурщиков различается.

Таблица 2. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия страха).

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 6. Временная развертка первой главной компоненты для 12 наборов данных (экспрессия страха). Примечание: По горизонтали время от 0 до 5 сек. По вертикали – нагрузка главной компоненты.

Рис. 7. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия страха). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает, что первая главная компонента по-прежнему имеет высокую объяснительную способность: 66% по сравнению с 83% при раздельном анализе. Временная согласованность остается высокой: медианное значение коэффициента корреляции Пирсона 0.90 по сравнению с 0.92 при раздельном анализе. Визуальный анализ показывает согласованное изменение нагрузки первой главной компоненты при t = 1—1.5 сек. Высокая временная согласованность также наблюдается для 5-й главной компонеты, объясняющей 1% дисперсии. Пространственная реконструкция 1-й главной компоненты показывает, что увеличению ее нагрузки соответствует смещение головы вперед. Визуальный просмотр видеозаписей экспрессии страха показывает, что для всех записей действительно характерно движение головы вперед, несмотря на то, что такой паттерн не вводится авторами базы как релевантный для экспрессии страха. Пространственная реконструкция 5-й главной компоненты показывает, что увеличению ее нагрузки соответствует опускание бровей одновременно с асимметричным разворотом головы. Поскольку в районе времени t = 1 сек. происходит согласованное уменьшение нагрузки 5-й компоненты, ему будет соответствовать поднятие бровей, что согласуется с характеристикой экспрессии страха. Результаты представлены в Таблице 3, на Рис. 8, Рис. 9.

Таблица 3. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия страха)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 8. Временная развертка 1-й и 5-й главных компонент для объединенного набора данных (экспрессия страха). Примечание: По горизонтали время от 0 до 5 сек. По вертикали – нагрузка главной компоненты.

Рис. 9. Пространственная реконструкция 1-й и 5-й главных компонент для объединенного набора данных (экспрессия страха). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии гнева

По Ekman et al (2002) экспрессии страха соответствуют комбинации: AU4 + AU5 + AU7 + AU10 + AU22 + AU23 + AU25, AU26; AU4 + AU5 + AU7 + AUl0 + AU23+ AU25, AU26; AU4 + AU5 + AU7 + AU23 + AU25, AU26; AU4 + AU5 + AU7 + AU17 + AU23; AU4 + AU5 + AU7 + AU17 + AU24; AU4 + AU5 + AU7 + AU23; AU4 + AU5 + AU7+AU24. По Schalk et al (2011) натурщики при демонстрации экспрессии гнева должны были показывать комплекс AU4CDE + AU5CDE + AU7 + AU17 + AU23/AU24. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 11 подстроечных параметров и 3 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 4. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—2 сек. AU4 входит в комбинации экспрессии гнева по Экману и по ADFES. AU17 входит в некоторые комбинации по Экману. AU25 также входит в некоторые комбинации по Экману, но в анализируемых видео ее интенсивность снижается до 0 по ходу развития экспрессии гнева. Для AU5 какие-либо тенденции к закономерному изменению отсутствуют. Для АU23 при t < 1 сек. интенсивность нулевая, при t > 0 интенсивность больше нуля, тенденции к закономерному изменению отсутствуют. AU24 не определяется программой OpenFace.

Таблица 4. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий гнева

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (90.85%), хорошей согласованностью временных рядов (0.93) и пространственных векторов, кодирующих первую главную компоненту (0.56). Визуальный анализ показывает согласованное снижение нагрузки 1-й главной компоненты в районе времени t = 1—2.5 сек. при переходе от нейтрального лица к экспрессии гнева. Результаты представлены в Таблице 5, на Рис. 10. Характерное изменение лица на Рис. 10 можно интерпретировать как включающее опускание бровей. Динамика головы, рта и глаз у разных натурщиков различается.

Таблица 5. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия гнева)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 10. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия гнева). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает, что первая главная компонента имеет крайне низкую временную согласованность и не может рассматриваться как описывающая экспрессию гнева. В качестве таковых могут рассматриваться 2-я, 4-я, 6-я и 7-я главные компоненты. Визуальный анализ показывает выраженную согласованную динамику в диапазоне 1—2 сек. Результаты представлены в Таблице 6, на Рис. 11. Пространственная реконструкция 2-й главной компоненты показывает, что натурщик выполняет наклон головы вперед с одновременным опусканием головы. Визуальный контроль показывает, что данное движение разной степени выраженности действительно присутствует у части натурщиков, что согласуется с временной разверткой. Главная компонента 4 с учетом снижения ее нагрузки соответствует наклону вперед с одновременным движением области рта назад. Пространственная реконструкция 6-й и 7й компонент показывает, что они связаны с элементами опускания бровей и сжатия рта, что согласуется с характеристиками экспрессии гнева.

Таблица 6. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия гнева)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 11. Пространственная реконструкция 2-й, 4-й, 6-й, 7-й главной компоненты для объединенного набора данных (экспрессия гнева). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии отвращения

По П. Экману, признаками экспрессии отвращения являются комбинации AU9; AU9+AU16+AU15, AU26; AU9+AU17; AU10; AU10+AU16+AU25, 26; AU10+AU17. По Schalk et al (2011) натурщики при демонстрации экспрессии страха должны были показывать комплекс AU9 + AU10 + AU25. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 11 подстроечных параметров и 6 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 7. Из всех выделенных AU в признаки экспрессии отвращения входит только AU10. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—1.5 сек. AU9 при t < 1.2 сек. принимает нулевые значения, далее – положительные, несогласованные. AU25 при t < 1 сек. принимает нулевые значения, далее –положительные, несогласованные.

Таблица 7. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий отвращения

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (93%), хорошей согласованностью временных рядов (0.95) и пространственных векторов, кодирующих первую главную компоненту (0.81). Визуальный анализ показывает согласованное снижение нагрузки первой главной компоненты в районе времени t = 1—2 сек. Результаты представлены в Таблице 8, на Рис. 12. С учетом снижения нагрузки первой главной компоненты, ее динамика соответствует движению головы назад с одновременным поднятием вверх нижней части носа. При визуальном просмотре видеозаписей смещение головы назад незаметно.

Таблица 8. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия отвращения)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 12. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия отвращения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает высокую временную согласованность 1-й, 4-й, 5-й, 6-й, 9-й компонент. Визуальный анализ показывает выраженную согласованную динамику на диапазоне 1—1.5 сек. Результаты представлены в Таблице 9, на Рис. 13. Пространственная реконструкция 1-й главной компоненты показывает, что она связана с движением назад; 4-я компонента соответствует движению вверх средней части контура лица; 5-я компонента описывает асимметричное смещение левой части контура лица; 6-я компонента – движение вверх верхней части контура рта с одновременным опусканием и смещением назад подбородка; 9-я компонента – раскрытие рта и расширение контура лица. Собственно, с мимикой отвращения условно могут быть связаны 6-я и 9-я компоненты.

Таблица 9. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия отвращения)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 13. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й, 9-й главной компоненты для объединенного набора данных (экспрессия отвращения). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии удивления

По Ekman et al (2002) экспрессии удивления соответствуют комбинации: AU1 + AU2 + AU5 + AU26; AU1 + AU2 + AU5 + AU27. По Schalk et al (2011) натурщики при демонстрации экспрессии удивления должны были показывать комплекс AU1 + AU2 + AU5 + AU26. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 9 подстроечных параметров и 2 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 10. Ни одна из выделенных AU не входит в признаки экспрессии отвращения по Экману. Визуальный анализ временной развертки показывает наличие выраженной согласованной динамики в районе времени t = 1—1.5 сек. AU01, AU02, AU05, AU26 при t < 1 сек принимают нулевые значения, при t > 1 сек. значения положительные, несогласованные.

Таблица 10. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий удивления

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (94.2%), хорошей согласованностью временных рядов (0.95), хорошей согласованностью пространственных векторов, кодирующих первую главную компоненту (0.95). Визуальный анализ показывает наличие согласованного снижения нагрузки первой главной компоненты в районе времени t = 1—1.5 сек. Результаты представлены в Таблице 11, на Рис. 14. С учетом снижения нагрузки первой главной компоненты ее динамика соответствует движению головы вперед. При визуальном просмотре видеозаписей заметно характерное изменение положения контура лица, но его направление трудно интерпретируемо.

Таблица 11. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия удивления)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 14. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия удивления). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает, что высокой временной согласованностью на интервале t = 1—1.5 сек. обладают 1-я, 4-я, 5-я и 6-я компоненты. Результаты представлены в Таблице 12, на Рис. 15. Пространственная реконструкция показывает, что 1-я компонента связана с движением головы вперед, 4-я – с наклоном вперед верхней части головы, 5-я – с сужением контура лица и поднятием бровей, 6-я – с поворотом головы и одновременным движением вперед.

Таблица 12. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия удивления)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 15. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й главной компоненты для объединенного набора данных (экспрессия удивления). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии радости

По Ekman et al (2002) экспрессии радости соответствуют комплексы: AU6 + AU12; AU12. По Schalk et al (2011) натурщики при демонстрации экспрессии радости должны были показывать комплекс AU6 + AU12 + AU25. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 9 подстроечных параметров и 9 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 13.

Из 9 выделенных AU AU06 и AU12 входят в признаки экспрессии радости. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—1.5 сек.

Таблица 13. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий радости

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (81.1%), хорошей согласованностью временных рядов (0.97) и пространственных векторов, кодирующих первую главную компоненту (0.73). Визуальный анализ временной развертки показывает наличие согласованного изменения динамики первой главной компоненты в районе времени t = 1—2 сек. Результаты представлены в Таблице 14, на Рис. 16. Первая главная компонента может быть интерпретирована, как связанная с поднятием вверх уголков губ, что согласуется с признаками экспрессии радости. Динамика в области глаз не прослеживается.

Таблица 14. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия радости).

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 16. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия радости). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает высокую временную согласованность 3-й, 4-й, 5-й компонент. Визуальный анализ показывает выраженную согласованную динамику на диапазоне 1—1.5 сек. Результаты представлены в Таблице 15, на Рис. 17. Пространственная реконструкция показывает, что с поднятием уголков губ связана 5-я главная компонента. 3-я и 4-я компоненты связаны с разнонаправленным смещением лица.

Таблица 15. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия радости)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 17. Пространственная реконструкция 3-й, 4-й, 5-й главной компоненты для объединенного набора данных (экспрессия радости). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии печали

По Ekman et al (2002) экспрессии печали соответствуют комплексы: AU1 + AU4 + AU11 + AU15 (+AU54 + AU64); AU1 + AU4 + AU15 (+AU54 + AU64); AU6 + AU15 (+AU54+AU56). По Schalk et al (2011) натурщики при демонстрации экспрессии печали должны были показывать комплекс AU1 + AU4 + AU15 + AU17. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 3 подстроечных параметра и 1 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 16.

AU17 входят в дополнительные признаки экспрессии печали. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—1.5 сек. AU1 характеризуется слабо согласованными положительными значениями. AU4 характеризуется слабо согласованным (r=0.65) ростом положительных значений при t > 1 сек. AU15 характеризуется слабо согласованным (r=0.2) ростом положительных значений при t > 1 сек.

Таблица 16. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий печали.

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (79.7%), хорошей согласованностью временных рядов (0.84), низкой согласованностью кодирующих ее пространственных векторов (0.26). Визуальный анализ временной развертки показывает наличие согласованного снижения нагрузки первой главной компоненты в районе времени t = 1—2 сек. Результаты представлены в Таблице 17, на Рис. 18.

Таблица 17. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия печали).

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 18. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия печали). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует высокую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показыва- ет временную согласованность 4-й и 6-й компонент. Визуальный анализ показывает согласованную динамику на диапазоне 1—2 сек. Результаты представлены в Таблице 18, на Рис. 19. Пространственная реконструкция показывает, что 4-я компонента связана с движением вверх – назад в области рта и движением назад в области глаз—бровей. 6-я компонента связана с опусканием рта.

Таблица 18. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия печали).

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 19. Пространственная реконструкция 4-й и 6-й главной компоненты для объединенного набора данных (экспрессия печали). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Результаты анализа: видеозаписи экспрессии презрения

По Schalk et al (2011) натурщики при демонстрации экспрессии презрения должны были показывать комплекс AU U1 + AU U2 + AU U14 (унилатеральные экспрессии). Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 2 подстроечных параметра и 2 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 19. Динамика AU1 и AU2 несогласованная. Динамика AU14 слабо согласован- ная (0.42) с трендом к постепенному росту интенсивности на протяжении 3 сек.

Таблица 19. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий презрения

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (82.6%), хорошей согласованностью временных рядов (0.92); пространственная согласованность отсутствует (0.03). Визуальный анализ временной развертки показывает наличие в основном согласованного изменения динамики первой главной компоненты в районе времени t=1 сек. – 3 сек. Результаты представлены в Таблице 20, на Рис. 20.

Таблица 20. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия презрения)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 20. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия презрения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонент на объединенном наборе данных показывает среднюю временную согласованность 4-й компоненты. Визуальный анализ временных рядов показывает согласованную динамику незначительного снижения нагрузки на всем временном диапазоне. Результаты представлены в Таблице 21, на Рис. 21. Пространственная реконструкция 4-й главной компоненты показывает, что она представляет собой «перекошенную» улыбку, что частично согласуется с характеристикой экспрессии презрения.

Таблица 21. Характеристики первых десяти главных компонент при анализе на объединенном наборе данных (экспрессия презрения).

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 21. Пространственная реконструкция 4-й главной компоненты для объединенного набора данных (экспрессия презрения).

Результаты анализа: видеозаписи экспрессии смущения

По Schalk et al (2011) натурщики при демонстрации экспрессии смущения должны были показывать комплекс AU12 + AU14 + AU23/AU24 + AU54 + AU64. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 6 подстроечных параметров и 3 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 22. AU12 и AU14 входят в признаки экспрессии смущения. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—3 сек. AU23 характеризуется нулевыми значениями при t < 1 сек и положительными значениями при t > 1 сек. Динамика несогласованная (-0.01).

Таблица 22. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий смущения

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (87.9%), хорошей согласованностью временных рядов (0.93) и пространственных векторов, кодирующих первую главную компоненту (0.78). Визуальный анализ временной развертки показывает наличие согласованного изменения динамики первой главной компоненты в районе времени t = 1—3 сек. Результаты представлены в Таблице 23, на Рис. 22. Пространственная реконструкция показывает, что первая главная компонента характеризуется опусканием бровей, глаз и рта.

Таблица 23. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия смущения)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 22. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия смущения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных

Анализ главных компонент на объединенном наборе данных показывает высокую временную согласованность 1-й, 2-й, 3-й, 6-й, 7-й компонент Визуальный анализ временных трендов показывает выраженную согласованную динамику на диапазоне 1—1.5 сек. Результаты представлены в Таблице 24, на Рис. 23. Пространственная реконструкция показывает, что 1-я компонента связана с незначительным смещением лица вперед, 2-я компонента – с движением лица вниз, 3-я компонента с наклоном верхней части головы с одновременным смещением вправо, 6-я и 7-я компоненты компонента – с оппозитным вращательным движением лица.

Таблица 24. Характеристики первых 10 главных компонент при анализе на объединенном наборе данных (экспрессия смущения)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 23. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й, 9-й главной компоненты для объединенного набора данных (экспрессия смущения).

Результаты анализа: видеозаписи экспрессии гордости

По Schalk et al (2011) натурщики при демонстрации экспрессии гордости должны были показывать комплекс AU6 + AU12 + AU53 + выпрямление осанки. Ключевые AU выделены жирным шрифтом.

Анализ на уровне подстроечных параметров PDM и AU позволил выделить 8 подстроечных параметров и 4 AU, характеризующихся хорошей временной согласованностью. Список показателей приведен в Таблице 25. AU6 и AU12 входят в признаки экспрессии гордости. Визуальный анализ временной развертки показывает наличие согласованной динамики для 12 временных рядов в районе времени t = 1—1.5 сек.

Таблица 25. Глобальные априорные показатели с высоким уровнем временной согласованности, характеризующие видеозаписи экспрессий гордости

Примечание: Приведены названия показателей, медианные значения коэффициента корреляции Пирсона, величины стандартных отклонений, процент объясняемой вариативности.

Раздельный анализ главных компонент показывает, что первая главная компонента характеризуется высокой объяснительной способностью (97.4%), хорошей согласованностью временных рядов (0.94) и пространственных векторов, кодирующих первую главную компоненту (0.96). Визуальный анализ временной развертки показывает наличие согласованного изменения динамики первой главной компоненты в районе времени t = 1—3 сек. Результаты представлены в Таблице 26, на Рис. 24. Пространственная реконструкция показывает, что первая главная компонента может быть интерпретирована как движение вперед – вверх нижней части лица, поднятие глаз, бровей и рта.

Таблица 26. Характеристики первых пяти главных компонент при раздельном анализе для 12 наборов данных (экспрессия гордости)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, медианные значения коэффициента корреляции Пирсона для векторов, кодирующих соответствующую главную компоненту, медианные стандартные отклонения, медианный процент объясняемой вариативности.

Рис. 24. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия гордости). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Анализ главных компонентов на объединенном наборе данных показывает высокую временную согласованность 1-й и 2-й компоненты. Визуальный анализ показывает выраженную согласованную динамику на диапазоне 1—3 сек. Результаты представлены в Таблице 27, на Рис. 25. Пространственная реконструкция показывает, что 1-я компонента связана с движением вперед – вверх, 2-я – с движением назад.

Таблица 27. Характеристики первых десяти главных компонентов при анализе на объединенном наборе данных (экспрессия гордости)

Примечание: Приведены медианные значения коэффициента корреляции Пирсона для временных рядов, стандартные отклонения, процент объясняемой вариативности.

Рис. 25. Пространственная реконструкция 1-й и 2-й компонент для объединенного набора данных (экспрессия гордости).

Обсуждение и анализ

Интегральные показатели анализа наборов видеозаписей для каждой из эмоциональных экспрессий представлены в Таблице 28.

Таблица 28. Интегральные показатели анализа главных компонент

Примечание: Me 1^st PC% – медианный процент вариативности, объясняемой 1-й главной компонентой; Me R(t) 1^st PC – медианное значение коэффициента корреляции Пирсона между временными рядами нагрузок 1-й главной компоненты, временная согласованность; Me R(x) 1^st PC – медианное значение коэффициента корреляции Пирсона между векторами, кодирующими пространственную локализацию 1-й главной компоненты, пространственная согласованность; ∑ апр. пар. – суммарный процент вариативности, объясняемый априорными параметрами с высокой временной согласованностью; N апр. пар. – число согласованных априорных параметров; ∑% pcg – суммарный процент вариативности, объясняемый обобщенными главными компонентами с высокой временной согласованностью; pcg – список обобщенных главных компонент с высокой временной согласованностью.

Рассмотрим полученные результаты. Поскольку все анализируемые фрагменты содержат единственный переход от нейтрального лица к экспрессии максимальной интенсивности, каждый из них в отдельности хорошо описывается собственной первой главной компонентой. Первые главные компоненты отдельных видеофрагментов, относящихся к демонстрации одной и той же эмоциональной экспрессии, хорошо коррелируют между собой, поскольку разные натурщики имеют близкий темп развертывания заданной эмоциональной экспрессии. Описанный в Schalk et al (2011) процесс видеосъемки представляет собой тщательно организованную постановочную сессию. На работу с одним натурщиком уходило 2—2.5 часа. Авторы стремились к тому, чтобы достигнуть максимального единообразия демонстрации эмоциональных экспрессий разными натурщиками. В таких условиях можно было бы ожидать, что пространственное представление первой главной компоненты, полученной при анализе отдельных видеозаписей, также окажется хорошо согласованным.

Результаты анализа показывают, что в указанном смысле видеозаписи экспрессии презрения не являются согласованными: медианное значение коэффициента корреляции Пирсона между 12 векторами, кодирующими пространственную локализацию 1-й главной компоненты me R(x), составляет 0.03. Видеозаписи экспрессии печали согласованы плохо, me R(x) = 0.26. Видеозаписи экспрессий страха и гнева согласованы удовлетворительно, me R(x) = 0.47 и 0.56 соответственно. Видеозаписи экспрессий радости, смущения, отвращения, удивления и гордости хорошо согласованы, me R(x) составляет 0.73, 0.78, 0.81, 0.95, 0.96 соответственно.

Следующий вопрос состоит в том, в какой степени фактическая динамика лица натурщика соответствует формальным признакам на уровне целевых Action Units? В полной мере получить ответ на данный вопрос не удалось, поскольку, как выяснилось, ПО Open Face не в полной мере решает задачу анализа на уровне заявленного набора Action Units.

В качестве примера успешного анализа на уровне Action Units рассмотрим видеозаписи экспрессии радости. OpenFace корректно декодирует динамику ключевых AU6 (Cheek raiser) и AU12 (Lip corner puller). Индивидуальные первые главные компоненты хорошо согласованы, в их реконструкциях хорошо просматривается подъем вверх уголков губ. Однако при проведении анализа главных компонент на объединенном наборе данных оказывается, что компоненты, характеризующиеся согласованной временной динамикой, вносят лишь небольшой вклад в описание вариативности. Характерный паттерн поднятия уголков губ присутствует лишь в 5-й главной компоненте, объясняющей 1.5% вариативности. Для сравнения: суммарная динамика AU6 и AU12 объясняет 1.8% вариативности. В сумме три главные компоненты с хорошей временной согласованностью описывают 10.6% вариативности динамики лица. Можно полагать, что в случае экспрессии радости это и есть выделенная общая часть, обобщенный паттерн, включающий в себя три динамические компоненты. При этом динамика ключевых AU составляет примерно 20% такого обобщенного паттерна.

Для других эмоциональных экспрессий процент вариативности, объясняемой главными компонентами с хорошей временной согласованностью, может быть значительно выше: для экспрессии гнева – 20.7%, страха – 66.9%, отвращения – 74.6%, удивления – 80.9%, гордости – 87.7%, смущения – 92.5%. Столь высокие величины объясняемой вариативности достигаются за счет того, что первые главные компоненты для анализируемых наборов видеозаписей обладают высокой временной согласованностью. При этом анализ пространственных реконструкций показывает, что такие компоненты описывают смещения или наклоны головы, т.е. все натурщики, демонстрирующие данную эмоциональную экспрессию, помимо демонстрации ключевых AU, согласованно демонстрируют некоторый глобальный паттерн, не входящий в формальное описание эмоциональных экспрессий. Таким образом, высокая пространственная согласованность динамики эмоциональных экспрессий в основном связана с тем, что, пытаясь продемонстрировать ключевые AU, натурщики решают эту задачу, дополнительно изменяя положение головы.

Как видно из Baltrušaitis et al (2015), детекция AU представляет собой вторичный процесс по отношению к определению положения ключевых точек и опирается на локальные изменения градиентов текстуры в ключевых областях поверхности лица. При таком подходе оказывается принципиально невозможно соотнести динамику AU с фактическими изменениями координат ключевых точек и оценить вклад отдельных AU в общее изменение выражения лица. Анализ различных примеров временной динамики AU позволяет сделать вывод, что при работе Open Face распознавание AU не во всех случаях выполняется удовлетворительно. Во многих случаях интенсивность AU подвержена резким изменениям на протяжении короткого времени, что не согласуется с характером анализируемых видеозаписей. Анализ пространственных реконструкций NRSP показывает, что их содержательная интерпретация в некоторых случаях вызывает значительные затруднения. Например, видеозаписи эмоциональных экспрессий страха, радости, смущения, отвращения и удивления характеризуются согласованной динамикой NRSP p_3. При этом, согласно пространственной реконструкции (см. Рис. 1), увеличение нагрузки данного параметра связано с сужением внешнего контура лица. Следует отметить, что детекция AU, опирающаяся на локальные изменения градиентов текстуры, используется и в более современных программах (Baev et al, 2021).

Возможное решение описанной проблемы состоит в определении функционала каждой из AU как комплексного изменения координат всех ключевых точек. В таком случае теоретически возможна смена «базиса», т.е. Point Distribution Model будет опираться не на формально полученные и трудно содержательно интерпретируемые NRSP (см. Рис. 1, 2, 3), а на физиологически обоснованные AU, соответствующие сокращению отдельных мышц лица. В таком случае модель детекции ключевых точек получила бы содержательное физиологическое основание, при этом вклад каждой AU мог бы быть вычислен непосредственно в ходе подгонки модели. При этом получил бы естественное обоснование вопрос о полноте системы используемых AU.

Другой вариант – проведение анализа главных компонент на основе ранее полученного набора координат ключевых точек, при котором часть компонент «зафиксирована» и отражает характерные мимические паттерны, связанные с набором AU, предположительно присутствующих в анализируемой мимике.

Пространственные реконструкции индивидуальных и обобщенных эмпирических главных компонент при индивидуальном анализе в основном допускают содержательную интерпретацию. Однако для большинства эмоциональных экспрессий анализ главных компонент для объединенного набора данных приводит к выделению нескольких главных компонент, характеризующихся высокой временной согласованностью. Таким образом, оказывается, что изменение выражения лица в ходе перехода к эмоциональной экспрессии формально раскладывается на несколько независимых паттернов (5 главных компонент для экспрессий смущения и отвращения; 4 главные компонента для экспрессий удивления и гнева). Облегчение интерпретации априорных NRSP и эмпирических главных компонентов, понимание фактического вклада каждого из параметров в объединенную динамику может быть достигнуто за счет выполнения парциальных динамических реконструкций мимики лица, в которых динамика мимики определяется отдельными параметрами либо их набором.

В полученных реконструкциях значительное место занимает смещение лица «вперед – назад». Эти движения получены на основе трехмерных координат ключевых точек. При этом сами трехмерные координаты вычисляются на основе двумерных изображений лица путем подстройки параметров Point Distribution Model. Судя по информации в Baltrušaitis et al (2018), валидизация реконструкции трехмерных координат авторами OpenFace не выполнялась. При визуальном просмотре анализируемых видеозаписей определение движения вперед-назад весьма затруднительно. Согласно субъективным представлениям автора статьи, реконструируемые движения не всегда хорошо заметны на исходном видео анфас. Проверка валидности трехмерных реконструкций возможна путем сравнения с реконструкцией, выполняемой другим ПО, например, Media Pipe, либо путем сравнения с данными, получаемыми с 3D камеры, например, Intel RealSense.

Выводы

Выполняемая с помощью OpenFace разметка позиций ключевых точек (facial landmarks) может быть использована для дальнейшего проведения содержательного анализа на уровне индивидуальных и обобщенных главных компонент.

ПО OpenFace нецелесообразно использовать для проведения содержательного анализа на уровне априорных подстроечных параметров PDM и Action Units. Содержательная интерпретация NRSP затруднительна в виду того, что фактическое изменение выражения лица описывается комбинацией многих одновременно действующих параметров. Детекция Action Units в Open Face, по-видимому, реализована неудовлетворительно.

Реконструируемые оценки координат ключевых точек по оси Z (глубина) требуют дополнительной валидизации. Соответственно, полученная характеристика выделенных главных компонентов в части смещений головы вперед-назад требует дополнительного уточнения.

Фактический вклад релевантных демонстрируемой эмоциональной экспрессии парциальных мимических признаков в целостную динамику мимики лица при переходе от нейтрального лица к сильно выраженной эмоциональной экспрессии незначителен. Основной вклад в целостный динамический паттерн вносят глобальные изменения положения головы натурщика, не входящие в формальное описание признаков эмоциональных экспрессий.

На уровне анализа индивидуальных видеофрагментов переход от нейтрального лица к эмоциональной экспрессии максимальной интенсивности описывается первой главной компонентой. Однако пространственная согласованность первых главных компонент для разных эмоциональных экспрессий значительно варьируется: для видеозаписей экспрессии презрения me R(x) составляет 0.03; для печали – me R(x) = 0.26; для страха и гнева – me R(x) = 0.47 и 0.56 соответственно; для радости, смущения, отвращения, удивления и гордости me R(x) составляет 0.73, 0.78, 0.81, 0.95, 0.96 соответственно.

На уровне анализа обобщенных главных компонентов целостный динамический паттерн содержит от одной до 5-ти главных компонент. Содержательный анализ вклада каждой из компонент требует решения дополнительной задачи: выполнение парциальных реконструкций динамики лица, описываемых комбинацией заданных главных компонентов.

С целью валидизации полученных результатов в следующем исследовании планируется проведение анализа главных компонент на основе координат ключевых точек, определенных с помощью ПО MediaPipe. Дальнейшие направления исследований – отработка анализа методом главных компонент при «частично зафиксированных» компонентах, отражающих характерные парциальные мимические паттерны, и обратная реконструкция видеоизображений лица, описываемых выделенными главными компонентами.

About the authors

Alexander V. Zhegallo

Author for correspondence.
Email: zhegalloav@ipran.ru
ORCID iD: 0000-0002-5307-0083

candidate of Psychological Sciences, Senior Researcher

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Рис. 1. 2D визуализация NRSP p_0 … p_11 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Download (168KB)

Indexing metadata

3. Рис. 2. 2D визуализация NRSP p_12 … p_23 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Download (169KB)

Indexing metadata

4. Рис. 3. 2D визуализация NRSP p_24 … p_33 (анфас и профиль). Примечание: Стрелки указывают направление смещения каждой из ключевых точек. Длина стрелок соответствует весу соответствующего параметра +80.

Download (149KB)

Indexing metadata

5. Рис. 4. Временная развертка подстроечных параметров PDM (экспрессия страха). Примечание: По горизонтали время от 0 до 3 сек. По вертикали – величина подстроечного параметра.

Download (248KB)

Indexing metadata

6. Рис. 5. Временная развертка AU (экспрессия страха). Примечание: По горизонтали время от 0 до 3 сек. По вертикали – интенсивность AU.

Download (67KB)

Indexing metadata

7. Рис. 6. Временная развертка первой главной компоненты для 12 наборов данных (экспрессия страха). Примечание: По горизонтали время от 0 до 5 сек. По вертикали – нагрузка главной компоненты.

Download (91KB)

Indexing metadata

8. Рис. 7. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия страха). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (161KB)

Indexing metadata

9. Рис. 8. Временная развертка 1-й и 5-й главных компонент для объединенного набора данных (экспрессия страха). Примечание: По горизонтали время от 0 до 5 сек. По вертикали – нагрузка главной компоненты.

Download (118KB)

Indexing metadata

10. Рис. 9. Пространственная реконструкция 1-й и 5-й главных компонент для объединенного набора данных (экспрессия страха). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (44KB)

Indexing metadata

11. Рис. 10. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия гнева). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (156KB)

Indexing metadata

12. Рис. 11. Пространственная реконструкция 2-й, 4-й, 6-й, 7-й главной компоненты для объединенного набора данных (экспрессия гнева). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (95KB)

Indexing metadata

13. Рис. 12. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия отвращения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (156KB)

Indexing metadata

14. Рис. 13. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й, 9-й главной компоненты для объединенного набора данных (экспрессия отвращения). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (111KB)

Indexing metadata

15. Рис. 14. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия удивления). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (154KB)

Indexing metadata

16. Рис. 15. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й главной компоненты для объединенного набора данных (экспрессия удивления). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (105KB)

Indexing metadata

17. Рис. 16. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия радости). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (173KB)

Indexing metadata

18. Рис. 17. Пространственная реконструкция 3-й, 4-й, 5-й главной компоненты для объединенного набора данных (экспрессия радости). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (83KB)

Indexing metadata

19. Рис. 18. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия печали). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80. Рисунок демонстрирует высокую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (197KB)

Indexing metadata

20. Рис. 19. Пространственная реконструкция 4-й и 6-й главной компоненты для объединенного набора данных (экспрессия печали). Примечание: Показаны средние значения координат ключевых точек и направления изменения их положения. Длина стрелок соответствует весу соответствующего параметра +80.

Download (62KB)

Indexing metadata

21. Рис. 20. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия презрения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (188KB)

Indexing metadata

22. Рис. 21. Пространственная реконструкция 4-й главной компоненты для объединенного набора данных (экспрессия презрения).

Download (25KB)

Indexing metadata

23. Рис. 22. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия смущения). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных

Download (192KB)

Indexing metadata

24. Рис. 23. Пространственная реконструкция 1-й, 4-й, 5-й, 6-й, 9-й главной компоненты для объединенного набора данных (экспрессия смущения).

Download (109KB)

Indexing metadata

25. Рис. 24. Пространственная реконструкция первой главной компоненты для 12 наборов данных (экспрессия гордости). Примечание: Показаны средние значения координат ключевых точек и вектора изменения их положения. Рисунок демонстрирует низкую вариативность первой главной компоненты для включенных в анализ наборов данных.

Download (205KB)

Indexing metadata

26. Рис. 25. Пространственная реконструкция 1-й и 2-й компонент для объединенного набора данных (экспрессия гордости).

Download (53KB)

Indexing metadata