The Neural Network Analysis of Normality of Small Samples of Biometric Data through Using the Chi-Square Test and Anderson–Darling Criteria

Full Text

Введение

Экспериментально полученных данных часто бывает недостаточно. Например, медику, чтобы получить данные 20 пациентов с одним и тем же заболеванием, может потребоваться лечебная практика длительностью 1 год и более. При этом проверить нормальность данных на столь малых выборках невозможно. Если пользоваться стандартными статистическими рекомендациями¹, то для проверки гипотезы нормальности потребуется выборка из 200 и более опытов. Обычный врач сможет самостоятельно получить такое количество данных не менее чем за 10 лет практики.

Схожая ситуация возникает у биологов, а также при сборе биометрических данных. И медики, и биологи прежде были вынуждены ждать, когда у них появится достаточно большая выборка. Ситуация начала меняться с развитием биометрии. Люди негативно относятся к тому, что при обучении нейронных сетей им придется 200 раз приложить палец к сканеру или 200 раз записать рукописный пароль. Однако пользователи согласны приложить к сканеру папиллярного рисунка свой палец 20 раз или 20 раз записать пароль. По этой причине в нейросетевой биометрии серьезное внимание уделяется разработке новых методов, позволяющих проверять статистические гипотезы на выборках малого объема.

Обзор литературы

В 1900 г. К. Пирсон создал хи-квадрат критерий, который на целое столетие определил вектор развития теории математической статистики². В середине ХХ в. появились первые исследования, посвященные синтезу искусственных нейронных сетей, ориентированных на эффективное распознавание образов. Вторая половина ХХ в. была посвящена тому, чтобы добиться эффективного обучения искусственных нейронных сетей. Только в начале ХХI в. удалось достичь промышленного применения технологии обучения искусственных нейронных сетей. Каждый цифровой фотоаппарат сейчас имеет нейросетевое приложение, отыскивающее в кадре лица людей³. Автоматическое обучение искусственных нейронных сетей нейросетевых преобразователей биометрических образов в код криптографического ключа аутентификации регламентируется в России национальным стандартом⁴. Биометрия – особый сегмент рынка, подлежащий специальному регулированию. На данный момент международное сообщество разработало порядка 120 биометрических стандартов, из которых 44 адаптированы к русскому языку и введены в действие в России.

Хи-квадрат критерий и другие известные статистические критерии при проверке статистических гипотез ориентированы на сравнение экспериментальной функции вероятности P(x) с теоретической функцией вероятности P(x). Фактически все статистические критерии решают ту же задачу, что и обычные нейроны, то есть для каждого из известных статистических критериев может быть построен свой искусственный нейрон. В частности, для хи-квадрат критерия эквивалентный искусственный нейрон будет описываться следующими преобразованиями для выборки объемом в 21 опыт при гистограмме из 5 равных интервалов:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ {\chi }^2\leftarrow {\displaystyle \sum _{i=1}^5\frac{{\left\{\frac{n_i}{21}-\left(P(x_{i+1})-P(x_i)\right)\right\}}^2}{\left(P(x_{i+1})-P(x_i)\right)}}\\ z\leftarrow "0"if{\chi }^2\le 0.375\\ z\leftarrow "1"if{\chi }^2>0.375\end{array}\right.$ (1)

где n_i – число опытов, попавших в i-й интервал гистограммы.

В работоспособности квадратичного нейрона (1) можно убедиться благодаря результатам имитационного моделирования, приведенным на рис. 1.

 

 

Рис. 1. Отклик хи-квадрат нейрона при выборке в 21 опыт для данных с нормальным
и равномерным распределениями

 

Fig. 1. The response to the chi-square of a neuron when sampling 21 experiments for data with normal
and uniform distributions

 

 

Результаты (рис. 1) показывают, что отклики нейрона на данные с нормальным законом распределения и отклики на данные с равномерным законом существенно отличаются. При квантовании выходных данных сумматора нейрона по порогу 0,375 вероятности ошибок первого и второго рода оказываются равными: P₁ = P₂ = P_ЕЕ = 0,288.

Идеи К. Пирсона были активно поддержаны математическим сообществом; в ХХ в. были созданы десятки различных статистических критериев⁵. В частности, в 1952 г. был разработан критерий Андерсона – Дарлинга. Нейрон, эквивалентный данному критерию, описывается следующими преобразованиями:

 $\left\{\begin{array}{c}x\leftarrow sort(x)\\ a{d}^2\leftarrow {\displaystyle \sum _{i=1}^{21}\frac{{\left\{i-21\cdot P(x_i)\right\}}^2}{\left(1-P(x_i)\right)\cdot P(x_i)}}\\ z\leftarrow "0"ifa{d}^2\le 232\\ z\leftarrow "1"ifa{d}^2>232\end{array}\right.,$ (2)

Об эффективности работы нейрона Андерсона – Дарлинга можно судить по данным имитационного моделирования, приведенным на рис. 2.

 

 

 

Рис. 2. Отклик нейрона Андерсона – Дарлинга при выборке в 21 опыт для данных с нормальным
и равномерным распределениями

 

Fig. 2. The response of the Anderson–Darling neuron in a sample of 21 experiments for data with
normal and uniform distributions

 

 

Видно, что отклики нейрона на данные с нормальным законом распределения и отклики на данные с равномерным законом существенно отличаются. При квантовании выходных данных сумматора нейрона по порогу 232 вероятности ошибок первого и второго рода оказываются равными: P₁ = P₂ = P_ЕЕ = 0,349.

Очевидно, что для малой выборки (21 опыт) мощность хи-квадрат критерия выше мощности критерия Андерсона – Дарлинга примерно на 21 %. Подобный эффект достигается выполнением следующего неравенства: P_ЕЕ(χ²) = 0,288 < P_ЕЕ(ad²) = 0,349. Если руководствоваться принципом бритвы Оккама, нужно использовать только хи-квадрат критерий, отбросив данные критерия Андерсона – Дарлинга. В настоящее время такой подход нерационален, так как мы можем совместно использовать два нейрона, как это принято в российской нейросетевой биометрии⁶[1; 2]. Такая возможность обусловлена низким уровнем коррелированности выходных данных двух рассматриваемых критериев: corr(χ², ad²) = 0,423.

Если мы объединяем два нейрона, то они должны принимать состояния «00» и «01» для признания данных нормальными. Два других состояния («11» и «10») будем трактовать как признание предъявленных данных равномерными. В представленной ситуации вероятность ошибок снижается примерно на 20 %: с 0,288 до 0,239.

Соотношение (2) построено с опорой на аналитическую запись критерия Андерсона – Дарлинга, однако может быть выполнен переход к логарифмической форме записи данного критерия. Нейрон, соответствующий логарифмической форме записи, описывается системой следующих преобразований:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ adL\leftarrow {\displaystyle \sum _{i=0}^{20}\left\{\frac{i+1}{21}\cdot \ln (P(x_i))+\right.}\\ \left.+\left(1-\frac{i+1}{21}\right)\cdot \ln (1-P(x_i))\right\}\\ z\leftarrow "0"ifadL\le 10.705\\ z\leftarrow "1"ifadL>10.705\end{array}\right.$  (3)

На рис. 3 даны распределения откликов нейрона логарифмической формы Андерсона – Дарлинга.

 

 

 

Рис. 3. Отклик логарифмической формы нейрона Андерсона – Дарлинга при выборке в 21 опыт
для данных с нормальным и равномерным распределениями

 

Fig. 3. The response of the logarithmic form of the Anderson–Darling neuron in a sample
of 21 experiments for data with normal and uniform distributions

 

 

При значении порога квантования 10,705 совпадают значения вероятностей ошибок первого и второго рода: P₁ = P₂ = P_ЕЕ = 0,32. Значение данной величины меньше аналогичного значения нейросетевой реализации классической формы Андерсона – Дарлинга (2). Кроме того, данные две формы нейронов имеют в своих откликах независимые составляющие: corr(ad², adL) = 0,644. Фактически мы имеем два разных статистических критерия, дополняющих друг друга.

Объединенное использование хи-квадрат нейрона (1) и логарифмической формы нейрона (2) позволяет снизить вероятность ошибок до 0,236. Одновременное использование двух вариантов критерия Андерсона – Дарлинга и хи-квадрат критерия дает дополнительное, но незначительное снижение вероятности ошибок до 0,231.

Материалы и методы

Средневековый принцип бритвы Оккама является оправданием множества процедур обхода «проклятия» размерности за счет понижения размерности задачи. Например, это может быть сделано методом главных компонент, созданным К. Пирсоном в 1901 г. Метод главных компонент является практической реализацией доказанной в 1947 г. теоремы Карунена – Лоэва⁷ [3].

Обоснование бритвы Оккама методом главных компонент кажется оптимальным, однако оно актуально лишь для линейных функционалов (только для линейной алгебры). Если мы строим нелинейную алгебру нейросетевых функционалов, все оказывается сложнее, что мы и постарались продемонстрировать. Бритва Оккама требует отбросить два варианта критериев Андерсона – Дарлинга и пользоваться только хи-квадрат критерием как самым информативным. Однако объединение всех трех критериев одним слоем искусственных нейронов и корректировка выходного кода дает положительный результат: данные, которые необходимо было отбросить, удается объединить. Обобщенная структура этого направления синтеза новых процедур статистической обработки отображена на рис. 4.

 

 

 

Рис. 4. Обобщение большого числа статистических критериев однослойной сетью
искусственных нейронов (аналогия с нейросетевыми преобразователями биометрия-код,
выполненными в соответствии с российскими стандартами пакета ГОСТ Р 52633.хх)

 

Fig. 4. Generalizing of a large number of statistical criteria with a single-layer network of artificial
neurons (analogy with neural network biometrics-code converters made in accordance with the Russian
standards of the GOST R 52633.xx package)

 

 

 

Могут быть построены десятки нейронов, воспроизводящих работу известных и новых статистических критериев. При этом каждый из нейронов будет обладать своей относительной мощностью разделения нормальных и равномерных данных. Для статистических критериев, уже имеющих программные нейроны-аналоги, данные имитационного моделирования приведены в табл. 1.

 

Таблица  1 Данные о значениях ошибок первого и второго рода для различных статистических критериев с оценкой порядка их следования по уровню их информативности

Table  1 Data on the values of the errors of the first and second kinds for various statistical criteria with
an assessment of the order of their sequence in terms of their informativeness

 

 

Критерий / Criterion	PEE	Информативность / Informativeness
χ2	0,288	2
ad2 (2)	0,349	6
adL (3)	0,320	4
sg	0,320	4
sgd	0,278	1
ω2	0,351	7
ω2c	0,311	3
su2	0,322	5

 

Данные в табл. 1 показывают, что наиболее информативным является дифференциальный вариант критерия среднего геометрического⁸:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ s{g}_d\leftarrow {\displaystyle \sum _{i=1}^{21}\sqrt{\frac{i+1}{21}\cdot p(x_i)}}\\ z\leftarrow "0"ifs{g}_d\le 7.45\\ z\leftarrow "1"ifs{g}_d>7.45\end{array}\right.,$  (4)

где p(x_i) – значение плотности распределения или производная $\frac{\partial P(x_i)}{\partial x}$  функции вероятности.

Вторым по уровню информативности оказывается хи-квадрат нейрон (1), третьим – нейрон Смирнова – Крамера – фон Мизеса:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ {\omega }_c\leftarrow {\displaystyle \sum _{i=1}^{21}{\left\{\frac{i+1}{21}-\left(P(x_i)\right)\right\}}^2}\\ z\leftarrow "0"ifs{g}_d\le 31.6\\ z\leftarrow "1"ifs{g}_d>31.6\end{array}\right..$  (5)

Четвертое место по информативности принадлежит логарифмической форме нейрона Андерсона – Дарлинга (3) и интегральному варианту критерия среднего геометрического⁹ [4]:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ sg\leftarrow {\displaystyle \sum _{i=1}^{21}\sqrt{\frac{i+1}{21}\cdot \left(1-P(x_i)\right)}}\\ z\leftarrow "0"ifsg\le 8.52\\ z\leftarrow "1"ifsg>8.52\end{array}\right..$ (6)

Пятое место по информативности независимого применения занимают нейроны Шапиро – Уилка¹⁰:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ s{u}^2\leftarrow \frac{1}{\sigma (x)}{\left[{\displaystyle \sum _{i=0}^9{a}_i\cdot (x_{21-i}-x_i)}\right]}^2\\ z\leftarrow "0"ifs{u}^2\le 19.88\\ z\leftarrow "1"ifs{u}^2>19.88\end{array}\right..$ (7)

Наиболее низкой информативностью из рассмотренных обладает нейрон, воспроизводящий наиболее раннюю версию критерия Крамера – фон Мизеса, созданную в 1928 г.¹¹:

$\left\{\begin{array}{c}x\leftarrow sort(x)\\ {\omega }^2\leftarrow {\displaystyle \sum _{i=0}^{20}\left[{\left\{P(x_i)-\frac{i+1}{21}\right\}}^2\cdot \frac{x_{i+1}-x_i}{x_{20}-x_0}\right]}\\ z\leftarrow "0"if{\omega }^2\le 0.0043\\ z\leftarrow "1"if{\omega }^2>0.0043\end{array}\right..$(8)

Принципиально важным является то, что на данный момент созданы десятки различных статистических критериев, то есть длина выходного избыточного кода нейронной сети (рис. 4) достаточно велика. Если подавать нормальные данные на нейронную сеть, она будет откликаться кодами с большинством нулевых разрядов, то есть корректоры редких ошибок избыточных кодов оказываются достаточно примитивными. При их создании может быть использован опыт разработки подобных корректоров кода для биометрических приложений [5–8].

Во времена Пирсона не существовало вычислительных машин и искусственных нейронов. В настоящее время ситуация изменилась коренным образом: могут быть созданы программные продукты, комплексно учитывающие десятки и даже сотни статистических критериев. Все это позволяет ожидать появления в ближайшем будущем статистических программ, позволяющих с очень высокой точностью выполнять прогнозы на малых выборках. Если сейчас для достоверного принятия решений о нормальности закона распределения требуются выборки в 200 опытов, то в скором времени появятся прецизионные средства статистических оценок для выборок в 20 опытов. Все это является следствием перехода от попыток обобщений в линейных пространствах к многомерным нейросетевым обобщениям.

Результаты исследования

Следует отметить, что удовлетворительной теории кодов, корректирующих ошибки искусственных нейронных сетей, пока не существует, а классические самокорректирующиеся коды дают низкие результаты. Вместо создания новой теории корректирующих свойств гибрида нейронной сети и избыточного самокорректирующегося кода необходимо переходить от однослойных нейронных сетей к многослойным.

Следует отметить, что впервые многослойные нейронные сети начал обучать А. И. Галушкин¹², создав в 1974 г. метод обратного распространения ошибок. На тот момент реализовать данный метод для многослойных нейронных сетей было технически невозможно. Ситуация изменилась только через 10 лет, когда Дж. Хинтон предложил обучать первые слои нейронов машинами Больцмана [9]. В конечном итоге это и позволило получить в XXI в. промышленно применимый алгоритм обучения глубоких нейронных сетей [10]. В таком контексте промышленно применяемые алгоритмы обучения можно называть алгоритмом Галушкина – Хинтона. Их применение позволяет обучать любые «глубокие» нейронные сети¹³ (например, сеть со структурой, приведенной на рис. 5).

 

 

 

Рис. 5. Обобщение большого числа статистических критериев многослойной сетью
искусственных нейронов (аналогия с использованием глубоких нейронных сетей
для распознавания лиц)

 

Fig. 5. Generalizing a large number of statistical criteria by a multilayered network of artificial neurons
(analogy with the use of deep neural networks for face recognition)

 

 

Сеть на рис. 5 имеет три слоя нейронов, при этом нейроны первого и второго слоя должны быть гладкими. Только один выходной нейрон всей «глубокой» сети имеет полностью дискретный квантователь.

Потенциальное качество работы нейронов второго слоя «глубокой» сети зависит от числа входов нейрона, от качества его входных данных и от их взаимной коррелированности.

Значения взаимной корреляции нейронов первого слоя приведены в табл. 2.

 

Таблица  2 Коэффициенты корреляции между парами рассматриваемых статистических критериев

Table  2 The coefficients of correlation between pairs of statistical criteria under consideration

 

	χ2	ad2	adL	sg	sgd	ω2	ω2c	su2
χ2	1	0,423	0,672	0,037	–0,042	0,559	0,401	–0,726
ad2	0,423	1	0,644	0,018	–0,145	0,226	0,393	–0,113
adL	0,672	0,644	1	0,056	0,209	0,827	0,832	–0,917
sg	0,037	0,018	0,056	1	0,132	0,414	0,402	–0,212
sgd	–0,042	–0,145	0,209	0,132	1	–0,242	–0,142	–0,041
ω2	0,559	0,226	0,827	0,414	–0,242	1	0,885	–0,667
ω2c	0,401	0,393	0,832	0,402	–0,142	0,885	1	–0,764
su2	–0,726	–0,113	–0,917	–0,212	–0,041	–0,667	–0,764	1

 

 

При оптимизации выбора связей нейронов необходимо стремиться к минимизации среднего геометрического вероятностей ошибок первого и второго рода G(P_EE) (данные из табл. 1). Одновременно необходимо минимизировать среднее значение модулей корреляционных входных связей E(|corr|) (данные из табл. 2). Балансировка двух данных факторов для нейронов с двумя входами выполняется следующим образом:

$\min \left\{\frac{0.91\cdot G{(P_{EE})}^{2-E\left(\left|\text{corr}\right|\right)}+1.09\cdot G{(P_{EE})}^{2-{(E\left|corr\right|)}^2}}{2}\right\}.$ (9)

Для нейронов с тремя входами связывание двух факторов описывается близким соотношением:

$\min \left\{\frac{1.75\cdot G{(P_{EE})}^{3-1.5\cdot E(\left|corr\right|)}+0.25\cdot G{(P_{EE})}^{3-1.5\cdot {(E(\left|corr\right|))}^2}}{2}\right\}.$  (10)

При необходимости могут быть построены аналогичные соотношения для нейронов с любым числом входов.

Обсуждение и заключение

Следует отметить, что усилия сотен исследователей, развивавших математическую статистику в ХХ в., несопоставимы по размерам ресурсов, затраченных США, Канадой, Евросоюзом, Китаем, Россией на развитие технологий биометрической идентификации личности. С начала XXI в. совместными усилиями технологических лидеров в рамках международного комитета по стандартизации ISO/IEC JTC1 sc 37 (Биометрия) было создано и введено в действие порядка 120 международных стандартов; в стадии разработки находится около 30 стандартов. В России 44 из 120 международных стандартов гармонизованы и введены в действие. В настоящее время развиваются несколько технологий сканирования и обработки уникальных биометрических образов. Данные по биометрическим технологиям отражены в табл. 1.

После создания хи-квадрат критерия К. Пирсоном в 1900 г. его последователями было разработано несколько десятков подобных статистических критериев. Можно рассматривать весь ХХ в. как время синтеза новых статистических критериев. Видимо, в XXI в. тенденция синтеза новых статистических критериев продолжится, однако акценты развития статистической теории существенно изменятся. В данной статье мы показали, что эффективным является нейросетевое обобщение уже созданных критериев и критериев, которые еще будут разработаны. Существующих технологий обучения искусственных нейронных сетей вполне достаточно. В данном контексте крайне важным является создание новых статистических критериев, слабо коррелирующих с уже известными. Становится не столь важной относительная мощность нового статистического критерия; важнее то, как он дополняет другие критерии в нейросетевых обобщениях.

В рамках данной статьи мы показали, что нейросетевое объединение всего трех статистических критериев позволяет снизить ошибки первого и второго рода на 22 %. Предположительно, обобщение порядка 100 статистических критериев глубокой нейронной сетью позволит многократно снизить требования к размерам тестовых выборок. Вместо 200 опытов, необходимых сейчас, в ближайшем будущем будет достаточно выборки в 20 опытов.

 

 

¹           Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.; Р 50.1.033–2001. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. 1. Критерии типа хи-квадрат. Введ. 2002.07.01. М. : Изд-во стандартов, 2001. 87 с. URL: https://pdf.standartgost.ru/catalog/Data2/1/4293850/4293850693.pdf

²           Там же.

³           Гудфеллоу Я., Бенджио И., Курвиль А. Глубокое обучение. М. : ДМК Пресс, 2017. 652 с.

⁴           ГОСТ Р 52633.5–2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. Введ. 2012.04.01. М. : СТАНДАРТИНФОРМ, 2012. 16 с. URL: http://docs.cntd.ru/document/1200088764

⁵           Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.; Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. 2. Непараметрические критерии. Введ. 2012.04.01. М. : Изд-во стандартов, 2002. 62 с. URL: http://www.gostrf.com/normadata/1/4294846/4294846286.pdf

⁶           Иванов А. И. Нейросетевые алгоритмы биометрической идентификации личности. Серия «Нейрокомпьютеры и их применение». Кн. 15. М. : Радиотехника, 2004 г. 144 с.; Нейросетевая защита персональных биометрических данных // Ю. К. Язов [и др.] // М. : Радиотехника, 2012. 160 с.

⁷           Jolliffe I. T. Principal component analysis. 2^nd ed. Series: Springer Series in Statistics. Springer–Verlag, 2002. 487 p. URL: http://cda.psych.uiuc.edu/statistical_learning_course/Jolliffe%20I.%20Principal%20Component%20Analysis%20(2ed.,%20Springer,%202002)(518s)_MVsa_.pdf

⁸           Иванов А. И., Перфилов К. А. Оценка соотношения мощностей семейства статистических критериев «среднего геометрического» на малых выборках биометрических данных // Современные охранные технологии и средства обеспечения комплексной безопасности объектов : мат-лы XI Всерос. науч.-практ. конф. Пенза, 2016. С. 223–229.

⁹           Использование среднего геометрического, ожидаемой и наблюдаемой функций вероятности как статистического критерия оценки качества биометрических данных / Б. С. Ахметов [и др.] // Надежность и качество : тр. ХХ междунар. симпозиума : в 2 т. Пенза : Изд-во Пенз. гос. ун-та, 2015. Т. 2. С. 283–285.

¹⁰          Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.

¹¹          Там же.

¹²          Галушкин А. И. Синтез многослойных систем распознавания образов. М. : Энергия, 1974. 368 c.

¹³          Гудфеллоу Я., Бенджио И., Курвиль А. Глубокое обучение. М. : ДМК Пресс, 2017. 652 с.

 

About the authors

Vladimir I. Volchikhin

Penza State University

Email: vvi@pnzgu.ru
ORCID iD: 0000-0002-9986-521X
ResearcherId: O-9718-2015

President, D.Sc. (Engineering), Professor

Russian Federation, 40 Krasnaya St., Penza 440026

Aleksandr I. Ivanov

Penza Research Electrotechnical Institute

Author for correspondence.
Email: ivan@pniei.penza.ru
ORCID iD: 0000-0003-3475-2182
ResearcherId: R-4514-2019

Head, Laboratory of Biometric and Neural Network Technologies, D.Sc. (Engineering), Associate Professor

Russian Federation, 9 Sovetskaya St., Penza 440000

Alexander V. Bezyaev

Penza State University

Email: ibst@pnzgu.ru
ORCID iD: 0000-0003-0703-3270
ResearcherId: Q-9589-2019

Doctoral Candidate, Chair of Information Security of Systems and Technologies, Ph.D. (Engineering)

Russian Federation, 40 Krasnaya St., Penza 440026

Evgeniy N. Kupriyanov

Penza State University

Email: ibst@pnzgu.ru
ORCID iD: 0000-0003-0806-1476

Graduate Student, Chair of Information Security of Systems and Technologies

Russian Federation, 40 Krasnaya St., Penza 440026

References

Supplementary files