Automated identification and counting of saigas (Saiga tatarica) by using deep convolutional neural networks in high-resolution satellite images

Full Text

Оценка численности и пространственного распределения вида — один из ключевых аспектов мониторинга объектов животного мира, т.е. системы регулярных наблюдений и сбора данных о популяциях, населяющих определенные территории, и их среде обитания. Такие данные необходимы как для своевременного выявления происходящих в популяции изменений, так и для формирования научно-обоснованной системы мер по сохранению видов, особенно занесенных в Красную книгу Российской Федерации, а также для разработки мероприятий по сохранению экосистем в целом. В этом плане экологический мониторинг, позволяющий собирать широкий спектр информации о видах, в том числе учет численности животных, играет ключевую роль в сохранении редких видов и рациональном использовании природных ресурсов (Prosekov, 2020).

Традиционно оценка численности животных обитателей открытых пространств и, в частности, степных экосистем, проводится с использованием автомобильных или авиационных средств — низколетящих небольших самолетов, вертолетов или беспилотных летательных аппаратов (Машкин, 2022). Однако эти методы оказывают крайне негативное воздействие на легко уязвимые экосистемы и на самих животных. Использование автомобилей нарушает степные экосистемы Северо-Западного Прикаспия, состояние которых уже сейчас нестабильно вследствие перевыпаса скота, особенно на фоне процессов глобального потепления (Неронов и др., 2013; Сапанов, 2018, 2021), а авиатехника вызывает у животных паническое бегство (вплоть до гибели от изнеможения) и чрезмерно стрессирует их. Кроме того, такие методы учета не позволяют единовременно охватить обширные площади, на которых обитают животные, и объективно оценить их численность вследствие значительного искажения результатов за счет перемещения и смешения животных во время учета, а также из-за несовершенства методов последующей обработки получаемых данных.

Таким образом, в настоящее время не существует сколь-нибудь удовлетворительной методики учета (оценки) численности копытных открытых пространств, позволяющей минимизировать как погрешность самого учета, так и одновременно исключить фактор беспокойства животных, возникающий во время проведения учетных работ. Результаты таких работ можно отнести только к категории «экспертных оценок».

В последнее время появляются новые дистанционные, инструментальные методы получения объективной информации о численности и состоянии популяций, о благополучии животных, а также о состоянии их местообитаний. Среди них альтернативным подходом к оценке численности животных в природной среде может стать использование данных дистанционного зондирования Земли (ДДЗЗ) — мультиспектральных спутниковых снимков высокого разрешения (0.3—0.5 м/пиксель). На таких снимках могут быть обнаружены объекты сравнительно небольших размеров, в категорию которых попадают многие виды млекопитающих (Рожнов и др., 2014, 2015; Платонов и др., 2011, 2013; Ячменникова и др., 2015), особенно обитатели открытых ландшафтов. Набор признаков самого животного, различимых на спутниковых снимках, не всегда достаточен для его распознавания. Это вызывает определенные сложности для решения поставленной задачи, в том числе и подсчета животных. В таких случаях требуется использовать дополнительную информацию о косвенных признаках, характерных для животных того или иного вида (особенности стадной организации — скопления, стада, группы и дистанции между ними; дистанции между животными в группах и их форма и т.п.). При этом выявление на спутниковых снимках мест расположения скоплений животных позволяет определить как реальную пространственную структуру популяции, так и оценить ее численность. До недавнего времени процесс распознавания животных на снимках осуществляли эксперты-зоологи и только вручную (Рожнов и др., 2014; Ячменникова и др., 2015). На это уходило до нескольких месяцев рутинной работы специалистов, превращая в ряде случаев полученные результаты в устаревшую и непригодную для оперативного решения задач охраны и рационального использования животного мира информацию.

В последние десятилетия наблюдается стремительное развитие технологий искусственного интеллекта (Fromm et al., 2019), что позволяет внедрять их и для исследований состояния популяций копытных открытых пространств. Одна из многих отраслей искусственного интеллекта — машинное обучение. Оно представляет собой разработку алгоритмов и статистических моделей, которые компьютерные системы используют для выполнения сложных задач без четких инструкций, полагаясь на найденные ими закономерности в размеченных специалистом данных.

Компьютерные системы используют алгоритмы машинного обучения для обработки больших объемов данных путем обобщения их характерных признаков и выявления принципов и распределений в структуре данных, что позволяет решать такие задачи как распознавание образов, классификация и прогнозирование состояний объекта на основе моделей, которые в свою очередь были созданы (обучены) на базе существующих реальных данных.

При наличии больших объемов исходных размеченных данных появляется возможность «натренировать» модель на решение конкретной задачи с высокой точностью, что позволяет полностью автоматизировать многие процессы обработки данных, исключая необходимость участия в них человека (Tarca et al., 2007). Это приводит к увеличению быстродействия и надежности работы систем, снижению финансовых затрат. При этом всегда остается возможность «дообучать» модель на новых наборах данных, что обеспечивает непрерывное улучшение качества ее функционирования.

Таким образом, с одной стороны, использование методов машинного обучения необходимо для сведения к минимуму вероятности влияния человеческого фактора на точность и производительность системы, с другой — создание модели и ее работа должны основываться на конкретных фактических данных.

В настоящее время создается все больше систем на базе технологий искусственного интеллекта, способных исключительно быстро в автоматическом режиме и с высокой точностью решать задачи, актуальные для зоологии и экологии, требовавшие ранее огромных временных затрат и привлечения обширной команды высококвалифицированных специалистов.

Для разработки актуальных технологий учета копытных открытых пространств модельным видом может быть сайгак. По инициативе Конвенции по сохранению мигрирующих видов диких животных (CMS) и Конвенции о международной торговле видами дикой фауны и флоры, находящимися под угрозой уничтожения (CITES), все страны-ареала сайгака подписали Меморандум о взаимопонимании относительно сохранения, восстановления и устойчивого использования антилопы сайги. В соответствии с этим Меморандумом в нашей стране с 2009 г. также были начаты работы по улучшению охраны и восстановлению численности сайгака (Неронов и др., 2013). Однако до настоящего времени отсутствуют полноценные данные о реальном состоянии популяции сайгака Северо-Западного Прикаспия и не проведена оценка результативности принятых мер по его охране. Такие данные невозможно получить без правильно организованного учета животных и проверяемых, показанных со статистической достоверностью данных о численности популяции, ее половозрастном составе и пространственной структуре.

Имеющийся у нас задел в виде результатов ранее выполненных работ, подтвердивших возможность по определенному комплексу дешифровочных признаков распознавать на спутниковых изображениях сайгаков и их скопления, отличающиеся от других животных (Рожнов и др. , 2014, 2015; Ячменникова и др., 2015), а также появление соответствующих IT-технологий, определили цель нашей работы — создание методики автоматизированного подсчета копытных открытых пространств на мультиспектральных спутниковых снимках высокого разрешения при использовании технологий искусственного интеллекта на примере сайгака.

МАТЕРИАЛЫ И МЕТОДЫ

Для разработки методики учета копытных открытых пространств, основанной на использовании высокодетальной спутниковой съемки и технологии искусственного интеллекта в качестве модельного объекта нами выбран сайгак (Saiga tatarica) популяции Северо-Западного Прикаспия. Численность этих животных с 2004 г. находилась на стабильно низком уровне (Milner-Gulland et al., 2001; Неронов и др., 2013; Каримова, Лущекина, 2018; Каримова и др., 2020, 2021, 2022). Этот вид занесен в Красную Книгу Российской Федерации (2021) и до недавнего времени находился в Красном списке Международного союза охраны природы и природных ресурсов (МСОП) в статусе «находящийся на грани исчезновения». Сайгак — один из двух видов антилоп, известных на территории России, его единственная самостоятельная популяция обитает в Северо-Западном Прикаспии — в восточных районах Республики Калмыкия и юго-западных районах Астраханской области. Это ключевой вид, определяющий благополучие аридных экосистем Евразии (в естественных условиях природного баланса).

Спутниковые изображения. Для выявления и учета таких животных, как сайгаки, используются оптические данные сверхвысокого разрешения (не грубее 0.5 м/пиксель). На таком снимке каждое животное занимает более одного пикселя спутникового изображения. Однако с повышением пространственного разрешения спутникового изображения уменьшается его территориальный охват. Так, при съемке с разрешением 0.5 м/пиксель каждая полоса съемки имеет ширину не более 20 км (в зависимости от спутника, производящего съемку). Это означает, что для покрытия съемкой территории площадью, например 100×100 км, потребуется не менее пяти пролетов спутника, что не всегда возможно реализовать единовременно (в один день). Поскольку и метеорологические условия не всегда бывают оптимальными для получения качественных данных (наличие облачности, пониженная прозрачность воздуха вследствие тумана или пылевой приземной взвеси), а животные могут активно перемещаться, результатом такой работы будет их недоучет или переучет.

В этой связи важно производить съемку исследуемых территорий в периоды наиболее «стационарного поведения» животных, подлежащих учету. Для сайгаков это соответствует времени гона, который обычно приходится на холодный сезон года — с последней декады ноября по первую декаду января. Среднестатистическая метеорологическая обстановка для исследуемой местности также соответствует параметрам, подходящим для съемки необходимого качества. Долговременные метеопрогнозы позволяют запланировать съемку заранее и отснять территорию достаточно обширной площади одним днем.

 

Рис. 1. Модельный участок территории Северо-Западного Прикаспия, покрытая спутниковым изображением № 1 (а), и само спутниковое изображение № 1, использованное для обучения нейронных сетей, с указанием местоположения выявленных экспертом-зоологом сайгаков (б).

 

Для разработки методики автоматической оценки численности сайгака с помощью искусственного интеллекта нами использован снимок, полученный 22.11.2012 г. со спутника Eros-B (ImageSat International, Израиль). Спутник формирует оптические данные в одном спектральном канале (панхроматический), с пространственным разрешением в надире 0.4—0.7 м/пиксель, динамическим диапазоном 10 бит/пиксель, шириной полосы съемки 7 км. Базовое спутниковое изображение, использованное как модельное для разработки метода (спутниковое изображение № 1), охватывает территорию площадью 7×32 км, расположенную на границе Астраханской области и Республики Калмыкия (рис. 1а), и состоит из 3 498 786 500 пикселей. Выявленные ранее на этом снимке экспертом-зоологом вручную животные (рис. 1б) были использованы для обучения нейронных сетей.

Для тестирования работы уже обученной сети использовали другое спутниковое изображение, полученное 12.01.2013 г. также со спутника Eros-B на эту же территорию — спутниковое изображение № 2.

По итогам работы для проверки практической эффективности разработки и проведения соответствующей оценки количества сайгаков на модельной территории было использовано спутниковое изображение № 3 — снимки разрешением 0.45—0.7 м/пиксель, полученные 2.12.2022 г. со спутника KA Beijing (Twenty First Century Aerospace Technology), охватившие практически всю площадь смежных ООПТ — 1 600 км² (рис. 2).

 

Координаты:

Восточная долгота	Северная широта
46.222229 46.686401 46.689148 46.230469	46.176027 46.181732 45.774228 45.776144

Рис. 2. Область Северо-Западного Прикаспия, отснятая спутником KA Beijing (Twenty First Century Aerospace Technology) 2.12.2022 г.

 

Ручное дешифрирование спутниковых изображений и выявление сайгаков. Для выявления сайгаков вручную применяли принципы, изложенные нами ранее (Рожнов и др., 2014). Сначала эксперт-зоолог разбивает полученное спутниковое изображение на прямоугольники равной площади, отрисовывая сетку в векторном слое, а сами ячейки-прямоугольники нумерует. Такая схема разбивки позволяет упорядочить режим просмотра отснятой территории, так как обработка снимка обширной площади вручную занимает до нескольких недель. При последовательном просмотре выделенных ячеек все отмеченные скопления некрупных объектов обводятся вручную и также нумеруются. Для этого создается еще один векторный слой. После того, как весь снимок размечен таким образом, создаются новые векторные слои, на которых маркируются уже сами объекты, выявленные в скоплениях, проводится их анализ и проверка соответствия их признакам, характерным для групп сайгаков. Если объекты на снимке внутри того или иного полигона по комплексу дешифровочных признаков соответствуют сайгакам, они отмечаются точками в векторном слое под названием «сайгаки», все прочие объекты отмечаются в другом векторном слое, названном «не сайгаки». После того, как все объекты в скоплении размечены точками, производится их автоматизированный подсчет с помощью любой программы для работы с ГИС (нами использованы программы Scanex Image Processor, MapInfo и Q-GIS). Таким образом, предложенные экспертом-зоологом последовательность действий и этапы операций были использованы для разработки схемы обучения нейронной сети, что определило двухфазный принцип работы со сверхдетальным спутниковым изображением.

Принцип технологического подхода. Основной сложностью решения задачи оперативного автоматического выявления и подсчета сайгаков на спутниковом изображении являются малые размеры животных: каждое из них занимает на нем всего несколько пикселей. Поэтому при анализе целого спутникового изображения крайне сложно достоверно выявить всех сайгаков, исключив при этом ложные выявления. В связи с этим задачу автоматизированного подсчета животных решали в два этапа (см. схему на рис. 3). На обоих этапах использовали технологии искусственного интеллекта — глубокие конволюционные нейронные сети (ГКНС), но разной архитектуры, предназначенные для эффективной обработки изображений.

 

Рис. 3. Упрощенная схема обработки спутникового изображения при подсчете сайгаков.

 

В первую фазу анализа (работа с ГКНС «Классификация», ГКНС-К) методом скользящего окна (Zhang et al., 2012; Lee et al., 2017) была проведена фрагментация снимка на небольшие сегменты для дальнейшей последовательной их проверки на предмет обнаружения скоплений объектов малых размеров, чтобы выявить все стада копытных на исследуемой территории. После того как спутниковое изображение было разбито на равные по форме и площади фрагменты, каждый фрагмент независимо подавался на вход ГКНС-К, решающей задачу площадной классификации. ГКНС-К принимала решение о присутствии на исследуемом фрагменте изображения хотя бы одного интересующего нас объекта (сайгака). На выходе каждый фрагмент получал метку класса «0» («100% нет ни одного сайгака») или «1» («100% присутствует хотя бы один сайгак»). Для принятия решения о присвоении той или иной метки для сети устанавливался «порог приемлемой вероятности», который соответствует оптимальному значению, обеспечивающему наибольшее значение точности на валидационной выборке (см. ниже). В нашей работе установлено значение порога приемлемой вероятности 0.7. После обработки всех участков, выделенных на спутниковом изображении, был сформирован shape-файл с фрагментами класса 1 в формате полигонов, каждый из которых имеет атрибут «Probability»=[0.1]. GIS-пакеты (например, Q-GIS) дают возможность производить фильтрацию по атрибуту «Probability», что позволяет настраивать визуализацию shape-файла для удобной работы и анализа результатов ГКНС. Этот результат аналогичен результатам первой части работы эксперта-зоолога при выявлении скоплений (стад) животных вручную.

Во вторую фазу (работа с ГКНС «Выявление», ГКНС-В) анализируются только те фрагменты спутникового изображения, которые были предварительно оценены ГКНС-К как «содержащие хотя бы одного сайгака». Для этих фрагментов использовали другую модель — они подавались на вход ГКНС-В. Результаты работы второй модели обеспечивают идентификацию каждого малого объекта (сайгака) и формирование вокруг него ограничивающего прямоугольника (bounding box).

Работа с сетью ГКНС «Классификация» (ГКНС-К). Нейронная сеть ГКНС-К разработана нами на базе стандартной архитектуры ResNet-50, предназначенной для решения задач классификации изображений, путем ее адаптации к задаче разделения фрагментов спутникового снимка на два класса («0» или «1»). В ходе обработки изображения ГКНС-К формирует на выходе значение вероятности того, что исследуемый фрагмент относится к классу «1» (такую метку присваивали лишь в том случае, если нейронная сеть оценивала вероятность наличия сайгаков на нем равной или выше 70%, в противном случае считали, что на фрагменте нет ни одного сайгака). Пороговое значение, принятое равным 0.7, является переменной величиной и при необходимости может быть изменено.

Работа с нейронной сетью ГКНС-К состояла из нескольких этапов: 1) обучение сети; 2) тестирование качества ее работы на базе исходного изображения; 3) оценка истинных положительных выявлений; 4) оценка ложных отрицательных выявлений; 5) оценка ложных положительных выявлений; 6) использование ложных положительных фрагментов для дополнительного обучения нейронной сети; 7) тестирование работы сети на базе другого спутникового изображения (с другими исходящими характеристиками — дата и время съемки, прозрачность воздуха, угол падения солнечных лучей, угол съемки); 8) постобработка результатов функционирования ГКНС-К и подготовка материалов для обучения другой сети, выявляющей собственно сайгаков для подсчета (ГКНС-В).

Для обучения ГКНС-К спутниковое изображение было разделено на фрагменты фиксированного размера (64×64 пикселей) методом скользящего окна с перекрытиями (шаг 16 пикселей). Подавляющее большинство полученных фрагментов не содержало изображения сайгаков, однако 3 172 фрагмента включали в себя объекты, выявленные ранее экспертом-зоологом вручную, которые стали основой обучающей выборки (см. ниже) для тренировки и тестирования ГКНС-К. Поскольку разделение спутникового изображения производилось с перекрытием, один и тот же сайгак мог попадать на несколько разных фрагментов, что учитывалось.

Наряду с фрагментами, содержащими изображение сайгаков, в выборку примеров были включены 50 000 случайных фрагментов, не захватывающих выявленные экспертом-зоологом объекты. Таким образом, нейронной сети была предоставлена информация о многообразии изображений ложных объектов, похожих на сайгаков. Сформированная выборка была разделена на обучающую (ОВ), валидационную (ВВ) и тестовую (ТВ) в соотношении 8:1:1. В дальнейшем обучающая выборка (51 903 примера, в том числе 2 512 фрагментов, содержащих изображение сайгаков) использовалась для обучения ГКНС-К, валидационная выборка (6 328 примеров, в том числе 313 фрагментов, содержащих изображение сайгаков) была применена для оценки качества нейронной сети в процессе ее тренировки и подбора оптимального параметра порога уверенности, а тестовая выборка (6 475 примера, в том числе 347 фрагментов, содержащих изображение сайгаков) использовалась для оценки качества функционирования ГКНС-К после завершения ее обучения.

Обучение ГКНС-К проводилось также поэтапно (два этапа, всего 300 эпох) с использованием оптимизатора Adam (Kingma, Ba, 2015) и ступенчатым изменением скорости обучения. В качестве функции ошибок была использована комбинация бинарной кросс-энтропии и среднеквадратичного отклонения. При организации процесса обучения ГКНС-К были использованы специализированные приемы тренировки на выборке с дисбалансом классов.

Тестирование на базе исходного спутникового изображения уже обученной нейронной сети ГКНС-К тоже проводилось в два этапа: на основе подготовленной тестовой выборки (фрагмент) и на основе всего снимка.

На первом этапе для тестирования ГКНС-К была взята тестовая выборка, которая не использовалась в процессе обучения. Выборка состояла из 6 475 фрагментов фиксированного размера 64×64 пикселя, в числе которых были 347 примеров, содержащих изображение сайгаков. Каждый из фрагментов поочередно и независимо обрабатывался нейронной сетью ГКНС-К. По итогам обработки фрагменту присваивалась метка класса «0» или «1». При этом результаты функционирования ГКНС-К были сопоставлены с предварительной разметкой, выполненной экспертом-зоологом. В ходе такого сравнения каждому из фрагментов была дана одна из четырех оценок (табл. 1). Затем на основе полученных статистических результатов были рассчитаны стандартные общепринятые метрики качества функционирования нейронной сети для задачи классификации: доля правильных ответов [accuracy], точность [precision], полнота [recall] и F1-мера [F1-score], рассчитываемая по формуле (2*precision*recall)/(precision+recall). Совокупность используемых метрик качества позволяет сделать объективный вывод о качестве классификации ГКНС-К.

 

Таблица 1. Оценки фрагментов по итогам поочередной и независимой их обработки нейронной сетью ГКНС-К

№	Название оценки	Характеристика оценки
1	Истинное положительное выявление (ИП)	ГКНС-К полагает, что на фрагменте отображен хотя бы один сайгак; эксперт-зоолог также полагает, что на фрагменте отображен хотя бы один сайгак
2	Ложное положительное выявление (ЛП)	ГКНС-К полагает, что на фрагменте отображен хотя бы один сайгак; эксперт-зоолог полагает, что на фрагменте нет ни одного сайгака
3	Истинное отрицательное выявление (ИО)	ГКНС-К полагает, что на фрагменте нет ни одного сайгака; эксперт-зоолог также полагает, что на фрагменте нет ни одного сайгака
4	Ложное отрицательное выявление (ЛО)	ГКНС-К полагает, что на фрагменте нет ни одного сайгака; эксперт-зоолог полагает, что на фрагменте отображен хотя бы один сайгак

 

На втором этапе тестирования нейронной сети ГКНС-К в качестве входных данных использовали полностью фрагментированное без перекрытий исходное спутниковое изображение № 1. После его обработки формировался единый shape-файл с фрагментами, которые ГКНС-К оценила меткой «1» («имеется хотя бы один сайгак»). Эти фрагменты представлены в виде полигонов с атрибутом «вероятность», что позволяло пользователю при анализе результатов легко отображать только интересующие его фрагменты, фильтруя их на основе этого атрибута.

После обработки исходного спутникового изображения № 1 было предпринято тестирование ГКНС-К на базе спутникового изображения № 2, полученного с того же спутника, имеющего иные, но сопоставимые характеристики (пространственное разрешение, угол съемки, условия освещенности).

Результаты функционирования ГКНС-К затем были подвергнуты фильтрации, проведенной экспертом-зоологом вручную, что позволило удалить фрагменты с ложными положительными выявлениями и получить набор фрагментов, на которых имелись изображения сайгаков. Введение дополнительного буфера вокруг выявленных фрагментов, при дальнейшей обработке расширенных участков позволило не потерять информацию об отдельных особях, оказавшихся вблизи границы стада и не выявленных с помощью ГКНС-К.

Работа с сетью ГКНС «Выявление» (ГКНС-В). Нейронная сеть ГКНС-В разработана нами на базе YOLOv7 — одной из современных архитектур, используемых для решения задач выявления объектов, которая отличается высоким быстродействием, не требует больших объемов памяти и вычислительных мощностей.

Обучающая выборка для тренировки ГКНС-В готовилась аналогично обучающей выборке для ГКНС-К. Среди полученных фрагментов подавляющее большинство их не содержало изображений сайгаков, однако 3 172 фрагмента включали в себя изображения сайгаков, выявленных ранее экспертом-зоологом. Вокруг каждого изображения сайгака была сформирована ограничивающая рамка размером в среднем 8×8 пикселей, полностью и плотно охватывающая контуры животного.

Наряду с 3 172 фрагментами, содержащими изображения сайгаков, в выборку примеров были включены 50 000 случайных фрагментов, на которых изображения сайгаков не были выявлены. Сформированная таким образом выборка так же, как и для ГКНС-К, была разделена на обучающую (ОВ), валидационную (ВВ) и тестовую (ТВ) в соотношении 8:1:1.

Обучение ГКНС-В производилось в два этапа (суммарно — 991 эпоха) с использованием оптимизатора Adam, циклическим изменением скорости обучения и среднеквадратичным отклонением в качестве функции ошибок.

Для тестирования ГКНС-В на базе спутникового изображения № 1 были использованы полигоны, на которых отображены стада сайгаков, выявленные на исходном спутниковом изображении с помощью ГКНС-К. Каждый полигон был разделен на фрагменты размером 64×64 пикселя без перекрытий, который затем обрабатывали с помощью ГКНС-В. В результате нейронная сеть выявляла объекты с различной степенью уверенности, формируя вокруг каждого из них ограничивающую рамку. Важным параметром, непосредственно влияющим на результаты выявления изображения сайгаков, является порог уверенности сети, выбранный для обработки полигонов. При высоком пороговом значении нейронная сеть выявит только те изображения сайгаков, в которых она абсолютно уверена, что приведет, скорее всего, к недоучету животных. При низком пороговом значении будут обнаружены изображения всех сайгаков, но может добавиться много ложных выявлений (за сайгаков сеть способна принимать некоторые артефакты, не являющиеся животными). В результате тестирований в качестве оптимального был выбран порог уверенности 0.3, обеспечивающий наибольшую точность результатов, полученных на валидационной выборке.

Доработка ГКНС-В. При работе со спутниковым изображением № 3 выяснили, что характеристики снимков, полученных со спутника BJ3A1 (декабрь 2022 г., 1600 км²), значительно отличались от параметров ранее использованных спутниковых изображений, полученных со спутника системы EROS-B. В связи с этим все попытки непосредственного использования нейронных сетей, исходно разработанных для изображений системы EROS-B и всецело адаптированных к ней, для обработки данных спутникового изображения № 3 оказались неудачными. Для повышения качества функционирования ГКНС-В было принято решение изменить архитектуру сети, пожертвовав функцией масштабирования ради качества выявления малых объектов, повышения скорости обучения и функционирования, исключения вероятности выявления ложных объектов с размером, существенно отличающимся от размеров сайгаков, распознанных на изображениях, полученных со спутника BJ3A1.

После доработки архитектуры ГКНС-В было выполнено ее повторное обучение. В результате ГКНС-В оказалась способна выявлять изображения сайгаков с весьма высоким качеством: точность 0.93; полнота 0.97; усредненная точность 0.94.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Работа с сетью ГКНС «Классификация» (ГКНС-К). Результаты обработки тестовой выборки после первого этапа обучения сети ГКНС-К (тестирование 1) и всего снимка (полностью фрагментированного без перекрытий исходного спутникового изображения № 1) после второго этапа обучения (тестирование 2) представлены в табл. 2.

 

Таблица 2. Результаты обработки тестовой выборки и всего снимка и стандартные метрики качества функционирования сети ГКНС-К

Параметры	Тестирование 1	Тестирование 2
Выявления:
Истинно положительные (ИП)	334	205
Ложно положительные (ЛП)	6	735
Истинно отрицательные (ИО)	6 122	853 252
Ложно отрицательные (ЛО)	13	3
Метрики качества функционирования нейронной сети:
Доля правильных ответов (accuracy)	0.997	0.999
Точность (precision)	0.982	0.218
Полнота (recall)	0.963	0.986
F1-мера (F1-score)	0.972	0.356

 

Совокупность используемых метрик качества позволяет сделать объективный вывод о высоком качестве классификации ГКНС-К с учетом дисбаланса классов в выборке. На втором этапе тестирования нейронной сети ГКНС-К в качестве входных данных выступал весь снимок (полное фрагментированное без перекрытий исходное спутниковое изображение № 1) — 854 195 фрагментов. В данном случае явно выделяется большое количество ложных положительных выявлений, которые главным образом связаны с откликами нейронной сети на изображения скоплений животных, идентифицированных экспертом-зоологом, как овцы или иные млекопитающие. Этот эффект проявляется на метриках точности и F1-меры.

Истинные положительные выявления (ИП). В ходе обработки исходного спутникового снимка ГКНС-К верно классифицировала 205 из 208 фрагментов, на которых экспертом-зоологом в ручном режиме были выявлены изображения сайгаков (рис. 4).

 

Рис. 4. Часть спутникового снимка №1 с изображением стада сайгаков (а); сайгаки, выявленные экспертом-зоологом в ручном режиме (б); ИП фрагменты снимка, выявленные нейронной сетью (в).

 

Ложные отрицательные выявления (ЛО). В ходе обработки исходного спутникового изображения ГКНС-К выявила лишь три ЛО фрагмента. При детальном рассмотрении этих фрагментов оказалось, что все три условно ошибочных решения нейронной сети являются обоснованными. В двух случаях с большой долей вероятности выявленные экспертом-зоологом объекты ошибочны, и являются изображениями не животных, а иных объектов, на что указывают их сравнительно низкая контрастность и отсутствие тени (рис. 5); еще в одном случае отмеченное экспертом-зоологом в ручном режиме местоположение изображения сайгака несколько смещено относительно центра объекта и ошибочно попадает на соседний фрагмент, который, в свою очередь, практически не захватывает объект, отмеченный экспертом-зоологом и другие целевые объекты, т.е. все три выявления являются не ложными отрицательными, а истинными отрицательными.

 

Рис. 5. Пример ложного отрицательного выявления: на спутниковом изображении №1 — обведен красной линией (а), после обработки спутникового изображения — в красном квадрате (б); выявленный экспертом-зоологом объект отличается от изображения сайгака, и, вероятно, не является животным.

 

Таким образом, при выбранном пороговом значении уверенности (0.7) нейронная сеть успешно выявила абсолютно все фрагменты, на которых точно присутствуют изображения сайгаков, т.е. полнота выявления составляет 100%.

Ложные положительные выявления (ЛП). В результате обработки спутникового изображения ГКНС-К выявила 735 фрагментов типа ЛП, которые можно разделить на три группы: 1) фрагменты ЛП, смежные с фрагментами ИП (непосредственно прилегающие к зонам, занимаемым изображениями стад сайгаков); 2) фрагменты ЛП, покрывающие изображения стад животных, идентифицированных экспертом-зоологом как «овцы»; 3) фрагменты ЛП, частично покрывающие изображения стад животных, идентифицированных экспертом-зоологом как «иные млекопитающие» (рис. 6); 4) фрагменты ЛП, полностью или частично покрывающие изображения стад животных, не выявленные экспертом-зоологом при обработке изображения в ручном режиме; 5) отдельные изолированные фрагменты ЛП, покрывающие зоны с яркими артефактами, не являющимися изображениями животных.

Фрагменты ЛП, прилегающие к стадам сайгаков, чаще всего именно так классифицируются нейронной сетью из-за животных, частично попадающих на эти фрагменты, тогда как их основная часть вместе с точкой-координатой, установленной экспертом-зоологом, находится на смежном фрагменте ИП. Фрагменты ЛП такого рода позволяют в результате функционирования второй нейронной сети — ГКНС-В — и алгоритмов постобработки формировать корректные ограничивающие рамки даже для тех выявленных объектов, которые разбиты на несколько фрагментов.

 

Рис. 6. Пример ложных положительных выявлений; выявлено изображение стада неизвестных животных (а, б); фрагменты ЛП (уверенность 100% — синие квадраты, уверенность от 70 до 99% — желтые квадраты) покрывают лишь разрозненные участки, на которых плотность животных сопоставима с плотностью сайгаков в стаде (в, г).

 

Большая часть выявленных фрагментов ЛП частично покрывает стада животных, описанных экспертом-зоологом, как овцы или иные млекопитающие. В отличие от групп сайгаков, занимающих большое количество смежных фрагментов изображения, стада овец обычно занимают 2—4 фрагмента. Они могут быть автоматически отфильтрованы по этому признаку.

Что касается «иных млекопитающих», то чаще всего речь идет об изображениях крупных стад, плотность распределения особей в которых значительно отличается от плотности распределения сайгаков (Рожнов и др., 2014, 2015). В подобных изображениях стад нейронная сеть принимает за сайгаков лишь те их части, где плотность распределения животных сопоставима с таковой характерной скоплений сайгаков. В результате фрагменты ЛП покрывают изображение такого стада не полностью, а фрагментарно, не образуя единого полигона. По этому признаку можно отфильтровать стада таких животных и не подавать изображения со стадами не сайгаков далее на вход в ГКНС-В.

Совокупность полученных на этой стадии результатов показала, что ложные положительные фрагменты могут быть использованы для дополнительного обучения нейронной сети с целью повышения качества ее дальнейшего функционирования. Все эти фрагменты, содержащие изображения овец, иных млекопитающих и артефактов, могут быть добавлены в обучающую выборку в качестве участков местности, не содержащих изображения целевых объектов (сайгаков), что позволит нейронной сети лучше отличать изображения стад сайгаков от скоплений иных млекопитающих и артефактов.

После обработки исходного спутникового изображения было проведено тестирование ГКНС-К на базе спутникового изображения № 2. В результате было выявлено 70 фрагментов, которые ГКНС-К с уверенностью не ниже 70% оценила как территории, на которых присутствуют сайгаки (рис. 7).

 

Рис. 7. Пример выявления нейронной сетью стада на спутниковом изображении №2 (зеленые квадраты — фрагменты, выявленные с уверенностью 100%; красные квадраты — фрагменты, выявленные с уверенностью от 70 до 99%).

 

Тестирование показало, что нейронная сеть, обученная на базе одного спутникового изображения, способна обрабатывать и иные спутниковые снимки, хотя качество получаемых результатов и их достоверность при этом неизбежно снижаются и возможны ошибки. Однако нейронная сеть способна выполнить наиболее важную работу — выявить (пусть и фрагментарно, с пропусками отдельных участков территории) изображения всех или большинства стад животных, присутствующих на исследуемой территории.

После фильтрации результатов функционирования ГКНС-К (удаление ложных положительных фрагментов) остаются данные, которые содержат только набор фрагментов, содержащих изображения сайгаков. Введение дополнительного буфера (рис. 8) вокруг выявленных фрагментов позволяет не потерять информацию об отдельных особях, оказавшихся вблизи границ стада и не выявленных с помощью ГКНС-К.

 

Рис. 8. Пример фильтрации результатов функционирования ГКНС-К: а — первичное выделение изолированных фрагментов (фиолетовый цвет); б — построение буферов вокруг всех фрагментов и окончательное выявление изолированных фрагментов; в — фильтрация изолированных фрагментов; г — формирование территориальных зон для дальнейшей обработки.

 

В результате получены участки, на которых производили подсчет сайгаков. Для идентификации каждой особи использовали ГКНС-В.

Работа с сетью ГКНС «Выявление» (ГКНС-В). При тестировании ГКНС-В был выбран порог уверенности, соответствующий 0.3, что привело к выявлению на всем спутниковом изображении №1 1 284 изображений сайгаков, тогда как экспертом-зоологом было выявлено 1 412 изображений сайгаков (рис. 9). Результаты тестирования ГКНС-В на спутниковом изображении № 1 доказывают реализуемость задачи автоматического выявления и подсчета количества сайгаков на фрагменте оптического спутникового изображения сверхвысокого разрешения. Обнаружение целевых объектов производится с высокими значениями показателей (полнота и точность ограничивающих рамок).

 

Рис. 9. Часть спутникового снимка (спутниковое изображение №1), предварительно прошедшего обработку с помощью ГКНС-К, с изображениями сайгаков, выявленными экспертом-зоологом и нейронной сетью ГКНС-В (красные рамки).

 

Для проверки целесообразности последовательного использования двух нейронных сетей было выполнено выявление изображений сайгаков с помощью ГКНС-В на всем спутниковом снимке без предварительного применения ГКНС-К (рис. 10). В результате было получено большое количество ложных выявлений, что доказало необходимость предварительной идентификации с помощью ГКНС-К тех зон, где расположены изображения именно стад сайгаков, и последующего подсчета животных только в этих зонах.

 

Рис. 10. Часть спутникового снимка №1, не прошедшего обработку с помощью ГКНС-К, с изображениями сайгаков, выявленными экспертом-зоологом (зеленые точки), и объектами, выявленными нейронной сетью ГКНС-В (красные рамки) — выявлено большое количество ложных объектов вдали от стада сайгаков.

 

Доработанная сеть ГКНС «Выявление» (ГКНС-В) и спутниковое изображение № 3. Обученная и доработанная нейронная сеть была использована для анализа всех изображений, полученных в декабре 2022 г. В результате было выявлено 155 097 объектов со степенью уверенности от 0 до 50%, представляющих собой три их типа: (i) изолированные объекты, не имеющие других объектов в непосредственной близости (скорее всего, эти объекты не являются сайгаками, так как эти животные обычно не перемещаются в одиночку во время гона); (ii) группы объектов, не имеющие в непосредственной близости от них объектов, выявленных с высокой степенью уверенности (скорее всего эти объекты не являются сайгаками); (iii) группы объектов (большое количество), рядом с которыми находятся объекты, выявленные с высокой степенью уверенности (скорее всего эти объекты являются сайгаками). Согласно результатам обработки количество сайгаков на изучаемой территории площадью 1 600 км² на декабрь 2022 г., определенное с вероятностью 0.5—1, не менее 26 584 особей. Каждый выявленный объект имеет собственный показатель уверенности от 0 до 100%. Проверка полученных результатов экспертом-зоологом показала, что большинство объектов, выявленных ГКНС-В со степенью уверенности 0.5—1, действительно являются сайгаками. Однако экспертом-зоологом были выявлены и представители крупного и мелкого рогатого скота, попавшие в распознавание нейронной сетью. Это свидетельствует о необходимости углубленной проверки экспертом-зоологом результатов работы доработанной нейронной сети ГКНС-В “Выявление”, в случае ее использования без предварительной обработки изображений сетью ГКНС-К «Классификация».

Валидационная выборка в виде результатов анализа снимков экспертом-зоологом в ручном режиме, а также метрики точности и полноты определили наилучший порог уверенности, разработанной нами сети как 50%-ную вероятность того, что идентифицированный объект является сайгаком. Если рассматривать этот показатель как грубый, то результаты подсчета, полученные при других значениях порога, выглядят следующим образом: 0.6—21 912 сайгаков, 0.7—16 809, 0.8—11 215, 0.9—4 548.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Местообитания видов диких животных, которые нередко находятся в прямой конкуренции с домашним скотом, в настоящее время активно изменяются под воздействием деятельности человека. В наибольшей степени это касается копытных открытых пространств. Для характеристики уровня такого рода конкуренции используется метод оценки интенсивности совместного использования местообитаний видами диких и домашних животных, которая может быть пересчитана в степень нагрузки на эти местообитания (Chirichella et al., 2014; Horcajada-Sánchez et al., 2019; Triguero-Ocaña et al., 2019; Rumiano et al., 2020; Linnell et al., 2020; Zengrang et al., 2020; Feng et al., 2021; Раймонди и др., 2023). При этом, как правило, внимание уделяется экологической емкости среды, а реальные численные значения плотности видов, которые используют конкретное пространство, учитываются мало.

Распознавание и подсчет диких копытных открытых пространств (степей, пустынь, тундры) — актуальный и во многом фундаментальный вопрос, особенно когда речь идет о пугливых и уязвимых животных, таких, как, например, сайгак (Teer et al., 1996). При проведении учетов копытных степных экосистем для минимизации воздействия на животных применяют малоинвазивные методы — аэрофотосъемку (Parker, 1975; Singh, Milner-Gulland, 2011; Terletzky, Ramsey, 2014; Terletzky, Koons, 2016; Кузякин, 2017; Машкин, 2022), для которой в последнее время вместо самолетов нередко используют беспилотные летательные аппараты (Barasona et al., 2014; Hodgson et al., 2016; Hu et al., 2020; Schroeder et al., 2020; Preston et al., 2021). В последние годы появился ряд публикаций по использованию для этих целей спутниковых снимков высокого разрешения (Рожнов и др., 2014; Yang et al., 2014; Wang et al., 2019). Работа с такими данными сопряжена с разработкой автоматизированных методов обработки больших массивов данных на основе разномасштабных различающих признаков с использованием методов глубокого обучения (Сальман, 2021). Если по обработке данных аэрофотосъемки таких работ немало (Кузякин, 2017; Mikhailov et al., 2022; Sobolevskii et al., 2022), то для данных космической съемки высокого разрешения до настоящего времени такие работы практически не были проведены.

В представленной работе на примере антилопы сайгак мы подтвердили успешность и эффективность разработанной методики и алгоритма автоматического распознавания и подсчета копытных открытых пространств на спутниковых снимках высокого разрешения с высокой степенью изменчивости.

Выбор нами принципа использования сверточных нейронных сетей, способных решать задачу распознавания мелких объектов на спутниковых снимках, основан на следующих причинах. (1) Архитектура YOLO является одним из ведущих решений в различных задачах распознавания объектов. (2) Для эффективного использования потенциально более точных и популярных в последние годы моделей-трансформеров, как правило, требуется проводить обучение на огромных наборах данных или использовать модели, предобученные на решение смежных задач. Однако данные, используемые для обработки в рамках обсуждаемой задачи, являются крайне специфичными и отличными от большинства открытых наборов данных, доступных для предобучения моделей. (3) Спутниковый снимок является огромным изображением, которое необходимо делить на большое количество фрагментов, каждый из которых обрабатывается сетью независимо. Используемые нейросетевые архитектуры должны обладать высокой скоростью инференса для обеспечения возможности оперативной обработки снимков. (4) Подходы, отличные от грубой детекции, имеют в рамках данной задачи свои недостатки. Например, с помощью метода Anomaly Detection вряд ли возможно достичь хороших результатов ввиду большого количества ложных объектов и широкого разнообразия подстилающих поверхностей. Поэтому предложенная нами разработка — методика автоматического распознавания и подсчета сайгаков на основе выбранной модели — наиболее оптимальна и современна в настоящий момент. Данная сфера развивается очень быстро, доработанные и улучшенные алгоритмы появляются практически каждые полгода (Wang et al., 2024), поэтому доработка предложенной методологии может быть очень оперативной.

Важным аспектом проведенной нами работы является объективность результатов и возможность их оперативного получения, а также полная проверяемость в кратчайшие сроки, и, следовательно, высокая достоверность. Сравнение результатов, полученных даже не со всего ареала, а лишь с модельной территории (например, ООПТ), регулярно, во время одного и того же периода в годовом цикле сайгака (период гона), уже высокоинформативно. Так, если в 2017–2018 гг. для территории смежных ООПТ — заповедника «Черные Земли» (Республика Калмыкия) и заказника «Степной» (Астраханская область) — во время гона с помощью ДДЗЗ было выявлено порядка 8 000 сайгаков (Yachmennikova et al., 2018), то в настоящей работе нами показано, что в 2022–2023 гг. количество сайгака во время гона на этой же территории стало практически в три раза больше. Возможность такого увеличения количества сайгаков была ранее предсказана специально разработанной нами агент-ориентированной моделью популяционных процессов для данной популяции (Родникова и др., 2019).

Точные данные такого рода и возможность их оперативного получения (и, соответственно, методы их получения) необходимы для принятия решений, требующих высокого уровня компетенции и достоверности, таких как смена статуса вида в списках МСОП (Vié et al., 2008) или в красных книгах. Это особенно важно для видов диких копытных, численность которых подвержена сильным колебаниям в пределах двух-трех десятков лет, каковыми, в частности, являются сайгаки, популяция Северо-Западного Прикаспия которых в течение XX в. трижды находилась на грани вымирания (Каримова и др., 2021, 2022).

Использование результатов проведенной нами работы в практической реализации очевидно. Полнофункциональная система автоматизированного распознавания и подсчета копытных открытых пространств на спутниковых снимках высокой детальности на примере антилопы сайгак дает, в том числе, ключ к грамотному планированию совместного использования степных местообитаний домашним скотом и сайгаками. Сейчас это широко распространено и ситуативно содержит потенциальный конфликт человек — дикая природа, который предсказуемо обострится в случае интенсивного роста численности сайгака. Возможность учета при пространственном планировании путей миграции сайгаков (Рожнов и др., 2023) в условиях роста численности их популяции позволяет также грамотно предусматривать и разрабатывать новые пространственные решения, ограничивающие выпас скота, что предполагает системный отказ от электропастухов и проволочных оград, перегораживающих степь и препятствующих перемещениям сайгаков. Примером таких решений могут быть разработанные системы управления стадом в условиях замены заборов и ограждений виртуальными системами ограждений, позволяющими управлять пространством, которое использует домашний скот, без вреда для видов диких животных (Bishop-Hurley et al., 2007; Umstatter, 2011; Golinski et al., 2023). Используя систему GPS с прикрепленным к животному устройством предупреждения и наказания, которое срабатывает, когда животное приближается к виртуальным границам выделенной территории, можно контролировать группу скота на выпасе. В таком случае накопленный опыт работ по выявлению лидеров в группах копытных (Баскин, 1976; Ramos et al., 2016), которые влияют на перемещения группы, позволяет выработать последовательный способ контроля всего стада, устанавливая соответствующие устройства не на всех особей в стаде, а лишь на избранных (Ramos et al., 2021).

Таким образом, основные теоретические и практические достижения данной работы связаны с разработкой новой методологии автоматического распознавания стадных копытных открытых пространств на основе алгоритмов сверточных нейронных сетей и методов статистического анализа. Объективность такого подхода показана на уникальном по своей истории и биологии виде — сайгаке Северо-Западного Прикаспия. Полученный программный комплекс ускоряет процесс обработки спутниковых данных высокой детальности, что позволяет принимать обоснованные компетентные решения для оперативного реагирования, а также для задач охраны природы и рационального использования животного мира. Поскольку фактическая проверка результатов показала наличие как недоучета выявлений сайгаков с помощью искусственного интеллекта, так и их переучета, нами намечены пути дальнейшего улучшения разработанной методики. Дообучение и доработка нейронных сетей на существующем этапе пока еще требует ручной верификации экспертом-зоологом. Но последующее создание более качественных сверточных нейронных сетей, позволяющих обрабатывать космоснимки, имеющие разные параметры и полученные с различных моделей спутников, без привлечения ручного дешифрирования, будет способствовать формированию системы оперативного и высокодостоверного мониторинга численности животных на основе анализа поступающих спутниковых изображений в течение нескольких часов в полностью автоматическом режиме.

ФИНАНСИРОВАНИЕ

Работа выполнена в рамках Программы научно-исследовательских работ «Сайгак Северо-Западного Прикаспия и других территорий» при финансовой поддержке ООО «ЛУКОЙЛ-Нижневолжскнефть».

БЛАГОДАРНОСТИ

Авторы благодарят Н.А. Кошеварову за помощь в технологическом этапе работы.

СОБЛЮДЕНИЕ ЭТИЧЕСКИХ СТАНДАРТОВ

Работа была проведена только со спутниковыми снимками животных и их анализом.

КОНФЛИКТ ИНТЕРЕСОВ

Авторы данной работы заявляют, что у них нет конфликта интересов.

About the authors

V. V. Rozhnov

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Author for correspondence.
Email: rozhnov-v-2015@yandex.ru
Russian Federation, Leninsky Prospekt, 33, Moscow, 119071

A. L. Salman

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Russian Federation, Leninsky Prospekt, 33, Moscow, 119071

A. A. Yachmennikova

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Russian Federation, Leninsky Prospekt, 33, Moscow, 119071

A. A. Lushchekina

Institute of Ecology and Evolution named after. A.N. Severtsov Russian Academy of Sciences

Email: rozhnov-v-2015@yandex.ru
Russian Federation, Leninsky Prospekt, 33, Moscow, 119071

P. A. Salman

ES-PAS LLC

Email: rozhnov-v-2015@yandex.ru
Russian Federation, Leningradskoye sh., 15, Moscow, 125171

References

Supplementary files