Preference aggregation method in determining brightness threshold values for object recognition on optical images
- Authors: Nguyen D.C.1, Muravyov S.V.1
-
Affiliations:
- National Research Tomsk Polytechnic University
- Issue: Vol 335, No 3 (2024)
- Pages: 17-30
- Section: Articles
- URL: https://journal-vniispk.ru/2500-1019/article/view/267376
- DOI: https://doi.org/10.18799/24131830/2024/3/4530
- ID: 267376
Cite item
Full Text
Abstract
Relevance. The need to automate the processing large volumes of geophysical information extracted from images obtained through aerial photography or space remote sensing. The main stage of image processing for object recognition is segmentation. It consists in dividing the image into two homogeneous, clearly distinguishable non-overlapping areas with known boundaries. Threshold segmentation methods are simple but effective and therefore popular.
Aim. To describe the experimental studies results of application of the robust method of interval fusion with preference aggregation previously developed by the authors for selecting threshold values when segmenting objects in optical images.
Objects. Coastline images taken by Earth remote sensing satellites.
Methods. The analyzed image is divided into equal bands. Based on the brightness histogram of each band, its characteristic brightness interval is determined. For the obtained brightness intervals, the fusion result is calculated using the interval fusion with preference aggregation method. The latter is used as a threshold brightness value when forming a segmented image.
Results. The results of experimental studies of 100 satellite images of the coastline showed that the proposed method provided correct separation of land and sea regions in 84 images. And the traditional methods of maximum entropy, arithmetic averaging and Otsu showed correct results only in 27, 76 and 73 cases, respectively. Evaluations of such the metrics as Precision, Recall and deviation of the calculated threshold from a known correct value showed the dominance of the proposed method over other tested ones in terms of segmentation quality.
Full Text
Введение
Информация, извлекаемая из оптических изображений, получаемых посредством аэрофотосъемки и (или) космического дистанционного зондирования, является необходимой при поиске, освоении и эксплуатации месторождений полезных ископаемых, при геодезических и картографических исследованиях, при оценке и мониторинге природных ресурсов и т. п. [1]. В силу наличия больших объемов такой информации весьма актуальной является автоматизация ее обработки. Основным этапом обработки изображения с целью распознавания объектов является сегментация, состоящая в разделении изображения на две однородные четко различимые непересекающиеся области с известными границами [2].
Будем рассматривать анализируемое изображение как двумерный массив, представленный (r×q) матрицей C=[cij] пикселей, состоящей из строк i=1,…, r и столбцов j=1, …, q. Каждый элемент матрицы (пиксель cij) принимает значение интенсивности цвета t (или яркости) соответствующей точки изображения в формате RGB, т. е. t=0, …, 255.
В качестве источника данных о яркости пикселей будем пользоваться представлением анализируемого изображения с помощью гистограммы яркости, показывающей распределение количества пикселей по уровням интенсивности (или уровням серого цвета) оцифрованного изображения [3].
Самым простым, но достаточно эффективным и поэтому популярным является пороговый метод сегментации [2, 3], который разбивает множество пикселей изображения C на два подмножества: подмножество E пикселей, яркость которых превышает пороговое значение f, и подмножество P пикселей, яркость которых меньше порогового значения f. Это значит, что яркость пикселей выходного изображения D (т. е. результата сегментации) может принимать два значения черное (1, фон) и белое (0, объект) в соответствии с формулой:
(1)
где t(dij) яркость пикселя dij D; t(cij) яркость пикселя cij C.
Очевидно, что результат сегментации изображения пороговым методом прямо зависит от выбора значения порога. Если порог выбран неправильно, то возможны две нежелательные ситуации: 1) часть пикселей объекта ошибочно относятся к фону и 2) часть пикселей фона ошибочно относятся к объекту. Это приводит к неточным и ненадежным результатам сегментации. Поэтому остаются актуальными попытки разработки способов выбора подходящего порога для обеспечения точных результатов сегментации.
Целью данной статьи является описание результатов экспериментальных исследований применения ранее разработанного авторами робастного метода комплексирования интервалов агрегированием предпочтений (interval fusion with preference aggregation IF&PA) [4] для выбора пороговых значений при распознавании объектов на фотоизображениях.
В качестве фотоизображений при проведении экспериментов будем использовать спутниковые снимки береговой линии. Точное и своевременное определение береговой линии играет важную роль в мониторинге прибрежных ресурсов и оценке воздействия на окружающую среду [59].
Для сравнения пороги выбирались также традиционными методами Оцу [10], усреднения и максимальной энтропии [11, 12] на тех же изображениях. Результаты тестирования показали, что точность результатов сегментации изображений с выбором порога методом IF&PA выше, чем у известных методов.
Метод комплексирования интервалов агрегированием предпочтений
Автоматический выбор пороговых значений для сегментации будем осуществлять предложенным и развиваемым научным коллективом проф. С.В. Муравьева (ТПУ) методом IF&PA [4, 1315], который позволяет находить для заданной выборки неравноточных (т. е. имеющих разную дисперсию) значений {x1, x2, …, xm} некоторой физической величины X оценку центра ее распределения. Эта оценка, которую будем называть результатом комплексирования x*, характеризуется повышенными робастностью, точностью и достоверностью по сравнению с традиционными оценками, такими как среднее арифметическое, среднее взвешенное, выборочная медиана и др. [4, 13, 16]. Сформулируем кратко суть метода IF&PA, основные этапы которого представлены на рис. 1.
Рис. 1. Этапы метода IF&PA
Fig. 1. Stages of the IF&PA method
Рассмотрим набор из m замкнутых интервалов на вещественной числовой оси, где каждый интервал характеризуется средней точкой xk, нижней границей xkεk и верхней границей xk+εk, так что Ik=[xkεk, xk+εk]; xk, εk R.
Ключевая идея метода состоит в преобразовании каждого из m исходных интервалов {Ik}, k=1, …, m, в ранжирование принадлежащих этому интервалу n дискретных значений из множества A={a1, a2, ..., an} R. Ранжированием называется бинарное отношение предпочтения λ на множестве A в виде цепочки λ=a2a1...as~at ...ap~aq, где символы и ~ обозначают бинарные отношения строгого порядка и толерантности соответственно. Заметим, что порядок предпочтения в ранжировании всегда ориентирован слева направо, т. е. более предпочтительные альтернативы находятся слева.
Для представления исходных интервалов ранжированиями сформируем диапазон актуальных значений (ДАЗ), представляющий собой множество A={а1, а2, …, аn} строго упорядоченных дискретных значений а1<а2<…<аn. Наименьшая нижняя граница для всех интервалов выбирается в качестве нижней границы ДАЗ а1, т. е. a1=min {xkεk|k=1, …, m}; в качестве верхней границы аn берется наибольшая верхняя граница для этих интервалов, т. е. an=max {xkεk|k=1, …, m}.
Для получения элементов а2, а3, …, аn1 разбиваем полученный интервал [a1, an] на n1 подынтервалов, длина (норма) которых равна h=(ana1)/(n1). Тогда i-й элемент ДАЗ определяется как аi=аi1+h, i=2, …, n.
Множество A строго упорядоченных дискретных значений аi, i=1, …, n, используется для формирования профиля предпочтений Λ(m, n)={λ1, λ2, …, λm}, состоящего из ранжирований, представляющих интервалы Ik. Обозначим через Аk множество всех элементов из A, принадлежащих интервалу Ik, т. е. Аk={ai|ai Ik ai А}. Ясно, что его дополнение будет включать все остальные элементы из A, т. е. ={ai|ai Ik ai А}. Тогда для любого интервала Ik, k=1, ..., m имеем разбиение множества A на два класса эквивалентности Аk и , т. е. , .
Ранжирование λk, наведенное интервалом Ik, удовлетворяет следующим четырем условиям для i, j=1, …, n:
aiАkаjАkaiаj; (2)
ai, аjАkai, аjАkai~аj; (3)
aiАkаjАkaiаj; (4)
ai, аjАk соседние элементыj≡i+1. (5)
Необходимость условия (5) определяется тем, что последовательность элементов множества A является строго монотонной, т. е. ai<ai+1 для всех iNп. Класс AkA может включать наборы только следующих друг за другом элементов из A без пропусков, т. е. список индексов этих элементов должен соответствовать отрезку натурального ряда. Заметим, что структура любого ранжирования, удовлетворяющего условиям (2)(5), определяется выражением λk=Ak , т. е. каждое такое ранжирование содержит единственный символ строгого порядка и n2 символов толерантности ~.
Для полученного профиля Λ(m, n) осуществляется поиск всех возможных ранжирований консенсуса {β1, β2, …, βN} по правилу агрегирования Кемени [15, 17, 18]. Для этой цели используется рекурсивный алгоритм ветвей и границ собственной разработки RECURSALL [19]. Каждое ранжирование консенсуса βk, k=1, …, N, является оптимальным решением задачи о ранжировании Кемени [18, 20, 21], представляющим собой строгий порядок элементов из A, а их множество образует выходной профиль Β(N, n).
Профиль Β(N, n) преобразуется в единственное итоговое ранжирование консенсуса βfin по правилу свёртки, описанному в [15, 20]. В качестве результата комплексирования x* принимается наиболее предпочтительное дискретное значение в итоговом ранжировании консенсуса βfin.
Если βfin содержит более одного наилучшего дискретного значения, то в качестве естественного представителя таких значений используется выборочная медиана, рассчитываемая для числа v наилучших элементов по известной формуле:
(6)
Заметим, что задача о ранжировании Кемени является NP-трудной [22], т. е. для нее не существует точный алгоритм с полиномиальным временем (пропорциональным размерности n=|A| задачи) решения. Одна из разумных рекомендаций в этой ситуации состоит в том, чтобы выбирать число n<20, подходящее для большинства практических применений и обеспечивающее нахождение точного ранжирования консенсуса за приемлемое время [15, 20]. В данной работе авторы используют n=11 при среднем времени решения порядка нескольких миллисекунд.
Пороговая сегментация с применением метода IF&PA
Для того чтобы выявить пороговое значение яркости (1), отвечающее наиболее близкому к истинному различию между сегментируемыми областями, исходное изображение необходимо разделить на несколько частей, каждая из которых будет характеризоваться своим распределением интенсивности пикселей. Для этого будем разбивать анализируемое полутоновое изображение C на 15 горизонтальных полос равной высоты [23]. По гистограммам полос будем определять соответствующие интервалы {Ik} яркости образующих их пикселей. По этим интервалам с помощью процедуры IF&PA будем вычислять робастное значение порога яркости, которое будем использовать для сегментации (формирования выходного изображения D).
Процесс выполнения сегментации изображения с определением порога методом IF&PA представлен на рис. 2.
Рис. 2. Этапы сегментации изображения с расчетом порога методом IF&PA
Fig. 2. Image segmentation stages with threshold determined by the IF&PA method
Определение нижней Iklow и верхней Ikup границ интервала яркости Ik=[Iklow, Ikup] для каждой k-й полосы, k=1, 2, …, m, осуществляется по соответствующей гистограмме. Для этого на k-й гистограмме формируются пять зон по степени интенсивности тона: черная, темная, средняя, светлая и белая [23]. Ширина каждой зоны определяется как
l=0,2(tmaxtmin), (7)
где tmin, tmax минимальная и максимальная интенсивности.
Из рассмотрения большого количества разных изображений береговых линий следует, что большинство пикселей области морской поверхности принадлежат темной зоне гистограммы. Поэтому границы интервала Ik определяются по формулам:
Iklow=tmin+l; Ikup=tmin+2l. (8)
Для полученных интервалов яркости Ik вычисляется результат комплексирования x* методом IF&PA, который используется в качестве порогового значения яркости f при формировании сегментированного изображения D в соответствии с формулой (1). Выходное изображение D является бинаризованным, в нем область белого цвета соответствует поверхности суши, а область черного цвета представляет морскую поверхность.
Программное обеспечение для экспериментальных исследований
Для экспериментальной проверки предложенного метода было разработано программное обеспечение (ПО) в среде технических вычислений Matlab. На рис. 3 показан вид пользовательского интерфейса разработанного ПО. Пользователь имеет возможность выбрать исходное анализируемое изображение, задать параметры метода IF&PA, обработать изображение другими пороговыми методами, в том числе ручным (интерактивным) методом, результат которого считается правильным. Результат сегментации выводится на экран монитора c соответствующими оценками типовых мер качества распознавания.
Рис. 3. Интерфейс пользователя экспериментального программного обеспечения для пороговой сегментации изображений
Fig. 3. User interface of the experimental software for image segmentation by thresholding
Рассмотрим пример применения разработанного ПО для сегментации изображения береговой линии с определением порога яркости методом IF&PA. Входное изображение A размером 300×300 пикселей c помощью предварительной обработки преобразуется в полутоновое изображение C (рис. 4, а, б).
Рис. 4. Пример пороговой обработки изображения: а) входное изображение A; б) отфильтрованное полутоновое изображение C; в) результат сегментации методом IF&PA
Fig. 4. Example of image threshold processing: а) input image; б) filtered grayscale image C; в) result of segmentation by the IF&PA method
Изображение C разбивается на 15 горизонтальных полос, для которых строятся гистограммы яркости (рис. 5). Для гистограммы каждой полосы по формулам (7) и (8) определяются значения верхней и нижней границ каждого интервала Ik (табл. 1).
Рис. 5. Разбиение изображения C на 15 горизонтальных полос и построение гистограммы яркости каждой полосы
Fig. 5. C image division into 15 horizontal bands and building a brightness histogram of each band
Таблица 1. Верхние и нижние границы интервалов Ik, k=1, 2, …, 15
Table 1. Upper and lower bounds of the intervals Ik, k=1, 2, …, 15
Ck | C1 | C2 | C3 | C4 | C5 | C6 | C7 | C8 | C9 | C10 | C11 | C12 | C13 | C14 | C15 |
Iklow | 43 | 44 | 41 | 39 | 39 | 36 | 38 | 40 | 40 | 37 | 37 | 38 | 38 | 21 | 7 |
Ikup | 80 | 82 | 77 | 74 | 73 | 67 | 71 | 75 | 74 | 68 | 68 | 71 | 70 | 36 | 9 |
Набор интервалов Ik, k=1, 2, …, 15, подается на вход процедуры IF&PA, которая формирует диапазон актуальных значений A={a1, a2, …, a11}, как показано на рис. 6. Нижняя граница ДАЗ a1=7, верхняя граница a11=82, норма h=(827)/10=7,5. Полученные 11 дискретных значений интенсивности a1, a2, …, a11 показаны на левой вертикальной оси на рис. 6. Соответствующие интервалам ранжирования, сформированные в соответствии с выражениями (2)(5), образуют входной профиль предпочтения Λ(15, 11), показанный в правой части рис. 6.
Рис. 6. Пример работы процедуры IF&PA с интервалами яркости
Fig. 6. Example of the IF&PA procedure operation with brightness intervals
Алгоритм RECURSALL вычислил N=576 ранжирований Кемени. После свертки выходного профиля Β(576, 11) получено итоговое ранжирование консенсуса βfin:
a6∼a7∼a8∼a9≻a10≻a5≻a1∼a3∼a4∼a11≻a2.
Поскольку итоговое ранжирование содержит две наилучшие альтернативы a6∼a7∼a8∼a9, т. е. v=4, по формуле (6) получено значение x*=(a7+a8)/2=(52,0+59,5)/2=55,75. Найденный результат комплексирования принимается за порог яркости f=x*56. По формуле (1) формируется бинаризованное изображение D, представляющее собой результат сегментации (рис. 4, в), где черная область соответствует морю, а белая суше.
План эксперимента
Процедура сегментации с выбором порога методом IF&PA была протестирована путем предъявления ей набора из 100 различных изображений. Изображения являются снимками, полученными спутником дистанционного зондирования Земли Landsat 8, разных участков береговой линии в Юго-Восточной Азии. Изображения были загружены из онлайн-инструмента EarthExplorer [24], разработанного Геологической службой США (United States Geological Survey USGS). Все загруженные изображения не содержат облаков и имеют наивысшее качество. Все изображения были визуально отредактированы, геометрически скорректированы, обрезаны до небольших изображений размером 300×300 пикселей и преобразованы в полутоновые изображения. Затем эти изображения были обработаны с целью удаления шума фильтром Гаусса со стандартным отклонением, равным 2.
Для сравнения те же изображения обрабатывались традиционными пороговыми методами сегментации: методом Оцу [10] (определяет оптимальный порог на основе минимизации внутриклассовой дисперсии яркости); методом усреднения (вычисляет порог как среднее арифметическое яркостей сегментируемой области); методом максимальной энтропии (МЭ основан на оценивании параметров неизвестного закона распределения случайной величины из условия максимума энтропии Шеннона [11, 12]).
Все четыре сравниваемых метода осуществляли распознавание в автоматическом режиме, т. е. без участия оператора. Однако для обеспечения возможности сравнения результатов, полученных тестируемыми методами, с заведомо правильными (истинными) результатами распознавания при проведении испытаний был реализован интерактивный (ручной) режим сегментации, когда пользователь имеет возможность (рис. 3) ввести произвольное значение порога, визуально оценить качество результата сегментации и сохранить этот результат как правильный. Таким образом, для каждого из 100 изображений имеется правильный результат сегментации, полученный в интерактивном режиме, с которым сопоставляются результаты остальных четырех испытываемых методов.
Меры качества сегментации
Для оценки точности результатов сегментации изображений в эксперименте использовались известные метрики Accuracy (точность), Precision (прецизионность) и Recall (полнота) [25, 26].
Договоримся считать положительным такой исход работы метода сегментации, когда пиксель анализируемого изображения C отнесен к области P (соответствующей поверхности моря), а отрицательным исход, при котором пиксель отнесен к области E (соответствующей поверхности суши). Тогда возможны четыре исхода работы метода сегментации (выраженных в количестве пикселей): истинно положительный (true positive TP) число пикселей из области моря, отнесенных тестируемым методом к области моря P; истинно отрицательный (true negative TN) число пикселей из области суши, отнесенных тестируемым методом к области суши E; ложно положительный (false positive FP) число пикселей из области суши, отнесенных тестируемым методом к области моря P; ложно отрицательный (false negative FN) число пикселей из области моря, отнесенных тестируемым методом к области суши E.
Ясно, что общее количество пикселей анализируемого изображения C равно сумме значений всех исходов, т. е.
|C| = r q = TP + TN + FP + FN. (9)
Тогда показатели Precision и Recall рассчитываются по формулам:
Precision=TP/(TP+FP); (10)
Recall=TP/(TP+FN). (11)
Показатель точности выражается в терминах исходов следующим образом:
Accuracy=(TP+TN)/(TP+TN+FP+FN)=(TP+TN)/rq. (12)
Показатель Accuracy можно оценивать также в виде выраженной в процентах доли правильно распознанных объектов среди всех проанализированных объектов.
Значения показателей (10)(12) изменяются в диапазоне от 0 до 1. Чем ближе значение показателя к 1, тем лучше результат сегментации изображения.
Для каждого i-го изображения, i=1, …, 100, рассчитывались отклонения ξi порогов от правильного значения по формуле:
ξi = |ftruei fmethodi|, (13)
где ftruei значение правильного порога, определенного интерактивным методом на i-м изображении; fmethodi значение порога, определенного тестируемым методом (method = максимум энтропии, усреднение, Оцу или IF&PA) на i-м изображении.
Результаты экспериментальных исследований
Значения порогов для 100 изображений, полученные предложенным и известными методами приведены в табл. 2, в которой жирным шрифтом выделены полученные в ручном режиме пороговые значения, рассматриваемые как заведомо правильные. Из данных табл. 2 следует, что пороговые значения, полученные методом IF&PA, ближе к правильным значениям, полученным ручным методом, чем значения, полученные традиционными методами.
Таблица 2. Значения порогов, полученные предложенным и известными методами
Table 2. Threshold values determined by the proposed and traditional methods
Изображение Image | Метод Method | Изображение Image | Метод Method | ||||||||
Ручной Manual | МЭ ME | Усреднение Averaging | Оцу Otsu | IF&PA | Ручной Manual | МЭ ME | Усреднение Averaging | Оцу Otsu | IF&PA | ||
1 | 97 | 141 | 96 | 109 | 94 | 51 | 102 | 83 | 71 | 89 | 86 |
2 | 95 | 135 | 93 | 105 | 96 | 52 | 66 | 147 | 87 | 96 | 96 |
3 | 89 | 121 | 100 | 106 | 86 | 53 | 72 | 135 | 93 | 98 | 99 |
4 | 101 | 97 | 89 | 109 | 95 | 54 | 122 | 130 | 75 | 86 | 85 |
5 | 84 | 121 | 87 | 101 | 85 | 55 | 86 | 73 | 62 | 76 | 72 |
6 | 97 | 133 | 92 | 113 | 87 | 56 | 129 | 174 | 82 | 94 | 90 |
7 | 90 | 125 | 74 | 96 | 87 | 57 | 63 | 97 | 73 | 88 | 82 |
8 | 89 | 134 | 82 | 97 | 86 | 58 | 62 | 107 | 75 | 90 | 84 |
9 | 86 | 121 | 98 | 109 | 99 | 59 | 81 | 148 | 105 | 99 | 88 |
10 | 85 | 103 | 56 | 55 | 67 | 60 | 62 | 129 | 70 | 91 | 88 |
11 | 64 | 105 | 56 | 55 | 70 | 61 | 51 | 130 | 63 | 89 | 74 |
12 | 64 | 104 | 62 | 59 | 63 | 62 | 60 | 139 | 58 | 77 | 80 |
13 | 63 | 95 | 29 | 55 | 57 | 63 | 94 | 151 | 79 | 97 | 97 |
14 | 80 | 33 | 22 | 65 | 60 | 64 | 95 | 101 | 84 | 108 | 91 |
15 | 61 | 92 | 57 | 50 | 56 | 65 | 71 | 97 | 81 | 105 | 92 |
16 | 74 | 105 | 44 | 53 | 56 | 66 | 65 | 144 | 75 | 90 | 71 |
17 | 63 | 112 | 60 | 55 | 61 | 67 | 65 | 142 | 65 | 76 | 74 |
18 | 62 | 102 | 56 | 51 | 58 | 68 | 61 | 146 | 72 | 68 | 78 |
19 | 59 | 100 | 42 | 55 | 58 | 69 | 82 | 121 | 61 | 66 | 75 |
20 | 61 | 114 | 69 | 56 | 63 | 70 | 60 | 122 | 75 | 89 | 80 |
21 | 98 | 94 | 48 | 65 | 60 | 71 | 67 | 98 | 73 | 98 | 79 |
22 | 103 | 95 | 59 | 67 | 72 | 72 | 68 | 92 | 63 | 84 | 72 |
23 | 68 | 97 | 64 | 62 | 72 | 73 | 74 | 88 | 45 | 63 | 66 |
24 | 62 | 29 | 26 | 73 | 55 | 74 | 60 | 100 | 72 | 85 | 73 |
25 | 67 | 29 | 32 | 69 | 65 | 75 | 64 | 80 | 54 | 58 | 60 |
26 | 72 | 122 | 72 | 93 | 76 | 76 | 68 | 103 | 64 | 61 | 63 |
27 | 58 | 128 | 51 | 81 | 66 | 77 | 68 | 103 | 74 | 66 | 72 |
28 | 60 | 117 | 73 | 92 | 67 | 78 | 71 | 112 | 60 | 67 | 74 |
29 | 52 | 93 | 30 | 45 | 50 | 79 | 67 | 92 | 57 | 63 | 68 |
30 | 51 | 154 | 32 | 51 | 50 | 80 | 65 | 86 | 66 | 70 | 72 |
31 | 49 | 154 | 45 | 53 | 60 | 81 | 55 | 80 | 57 | 70 | 61 |
32 | 57 | 88 | 41 | 50 | 56 | 72 | 59 | 121 | 54 | 61 | 64 |
33 | 42 | 103 | 60 | 51 | 55 | 83 | 70 | 128 | 112 | 97 | 83 |
34 | 52 | 41 | 39 | 72 | 63 | 84 | 65 | 176 | 87 | 92 | 79 |
35 | 68 | 33 | 35 | 73 | 61 | 85 | 71 | 62 | 77 | 108 | 73 |
36 | 58 | 133 | 40 | 64 | 55 | 86 | 100 | 127 | 110 | 103 | 75 |
37 | 57 | 137 | 62 | 64 | 62 | 87 | 77 | 53 | 57 | 106 | 72 |
38 | 60 | 152 | 58 | 63 | 64 | 88 | 73 | 37 | 44 | 98 | 62 |
39 | 55 | 152 | 42 | 66 | 57 | 89 | 131 | 121 | 122 | 146 | 120 |
40 | 105 | 123 | 104 | 115 | 96 | 90 | 62 | 127 | 70 | 83 | 61 |
41 | 70 | 124 | 71 | 72 | 76 | 91 | 47 | 175 | 62 | 73 | 65 |
42 | 69 | 124 | 68 | 74 | 73 | 92 | 49 | 67 | 56 | 63 | 50 |
43 | 122 | 101 | 40 | 68 | 57 | 93 | 77 | 147 | 60 | 65 | 47 |
44 | 51 | 108 | 71 | 77 | 70 | 94 | 60 | 58 | 54 | 80 | 59 |
45 | 51 | 119 | 75 | 71 | 77 | 95 | 49 | 81 | 55 | 74 | 57 |
46 | 101 | 134 | 87 | 97 | 79 | 96 | 26 | 68 | 40 | 77 | 57 |
47 | 81 | 102 | 57 | 88 | 70 | 97 | 44 | 86 | 47 | 58 | 57 |
48 | 92 | 111 | 60 | 83 | 77 | 98 | 60 | 112 | 62 | 74 | 75 |
49 | 66 | 133 | 62 | 78 | 60 | 99 | 60 | 87 | 51 | 59 | 51 |
50 | 62 | 80 | 37 | 55 | 52 | 100 | 69 | 99 | 49 | 62 | 56 |
На рис. 7 представлены примеры сегментации изображений с помощью пороговой обработки, где f вычисленный соответствующим методом порог для каждого изображения. На рис. 7 красным цветом показаны чрезмерно сегментированные области суши, а голубым цветом недостаточно сегментированные области моря. Это явление нередко возникает при применении пороговых методов [27], особенно при недостаточной однородности сегментируемых областей. Для преодоления этого недостатка обычно применяют более совершенные подходы к сегментации, такие как наращивание областей, детектирование контуров и т. д. [8, 23].
Рис. 7. Примеры результатов пороговой сегментации изображений береговой линии: а) входное изображение; б) ручной метод; в) метод максимума энтропии; г) метод усреднения; д) метод Оцу; е) метод IF&PA
Fig. 7. Examples of threshold segmentation results of coastline images: а) input image; б) manual method; в) maximum entropy method; г) averaging method; д) Otsu method; е) IF&PA method
Данные экспериментов показывают, что даже без применения специальных мер результаты сегментации всех 100 изображений с применением IF&PA содержат значительно меньше пикселей, окрашенных в голубой и красный цвета, чем результаты других методов. Рис. 7 иллюстрирует этот факт на примере шести изображений. Таким образом, предложенный метод позволяет эффективно устранять влияние шумов в процессе обнаружения береговой линии.
Сравнение полученных изображений с правильными результатами (рис. 7, б) показало, что береговая линия, выделенная предложенным методом, как правило, имеет непрерывные границы и расположение, близкое к найденному ручным методом.
Оценки показателей качества сегментации Precision и Recall для примеров на рис. 7, рассчитанные по формулам (9)(11), приведены в табл. 3. Результат сегментации изображения считается приемлемым, если значения показателей Precision и Recall превышают 0,5. В табл. 3 жирным шрифтом выделены значения, не удовлетворяющие указанному условию.
Таблица 3. Оценки показателей качества сегментации Precision и Recall для примеров изображений на рис. 7
Table 3. Estimates of segmentation quality measures Precision and Recall for the image examples in Fig. 7
Изображение на рис. 7 Image in Fig. 7 | Показатель качества Quality measure | Метод/Method | |||
Максимум энтропии Maximum entropy | Усреднение Averaging | Оцу Otsu | IF&PA | ||
1 | Precision | 0,441 | 1,0 | 0,960 | 1,0 |
Recall | 0,691 | 0,931 | 0,998 | 0,987 | |
2 | Precision | 0,453 | 0,375 | 1,0 | 1,0 |
Recall | 0,783 | 0,407 | 1,0 | 1,0 | |
3 | Precision | 0,133 | 0,217 | 0,398 | 0,742 |
Recall | 0,423 | 0,611 | 0,828 | 0,991 | |
4 | Precision | 0,319 | 0,666 | 0,353 | 0,870 |
Recall | 0,589 | 0,941 | 0,796 | 0,987 | |
5 | Precision | 0,551 | 0,424 | 1,0 | 0,973 |
Recall | 0,628 | 0,510 | 1,0 | 1,0 | |
6 | Precision | 0,073 | 0,271 | 0,216 | 0,280 |
Recall | 0,184 | 0,815 | 0,636 | 0,810 |
Результаты определения береговой линии, приведенные в табл. 4, показывают, что предложенный метод правильно распознал 84 из 100 изображений (84 %). Метод Оцу правильно распознал 73 изображения (73 %), метод усреднения 74 изображения (74 %), а метод максимума энтропии 27 изображения (27 %). Таким образом, метод IF&PA позволяет автоматически определять порог яркости изображения с лучшим показателем точности Accuracy, чем традиционные методы.
Таблица 4. Количество правильно сегментированных объектов
Table 4. Number of correctly segmented objects
Количество изображений Number of images | Распознано методом Recognized by the method of | |||
Максимум энтропии Maximum entropy | Усреднение Averaging | Оцу Otsu | IF&PA | |
100 | 27 | 76 | 73 | 84 |
Визуализация оценок качества сегментации
Были построены кривые распределения рассчитанных по формуле (13) отклонений ξi (рис. 8) порогов, определенных методами максимума энтропии, усреднения, Оцу и IF&PA, по всем 100 проанализированным изображениям. На графиках группы значений ξi, относящиеся к одному тестируемому методу, упорядочены по возрастанию с целью повышения информативности визуализации.
Рис. 8. Графики упорядоченных значений отклонений ξi, i=1, …, 100, порогов, определенных методами максимума энтропии (синий), усреднения (желтый), Оцу (зеленый) и IF&PA (красный)
Fig. 8. Graphs of ordered values of deviations ξi, i=1, …, 100, of thresholds determined by methods of maximum entropy (blue), averaging (yellow), Otsu (green) and IF&PA (red)
Кривые, представленные на рис. 8, показывают изменение ξi в зависимости от номера изображения для каждого исследуемого метода. По расстоянию от этих кривых до горизонтальной оси координат легко судить о качестве сегментации метода: чем меньше это расстояние, тем выше качество метода.
Из рис. 8 видно, что кривая ξi, построенная для метода IF&PA (красная линия), расположена ближе к горизонтальной оси, чем кривые, построенные для всех остальных методов.
По тому же принципу, что и графики распределения отклонений ξi на рис. 8, были построены кривые распределения значений показателей Precision и Recall по всем проанализированным изображениям (рис. 9, 10). В отличие от рис. 8, на рис. 9, 10 наилучшему методу соответствует кривая, расположенная ближе остальных кривых к горизонтальной линии, проходящей через значение 1,0. Из графиков на рис. 9, 10 видно, что этому требованию удовлетворяет кривая красного цвета, соответствующая методу IF&PA. Результаты экспериментальных исследований показывают, что на большинстве протестированных изображений предложенный метод имеет более высокое качество сегментации, чем три традиционных метода, использованных для сравнения.
Рис. 9. Графики упорядоченных значений показателя Precision для изображений i=1, …, 100, обработанных методами максимума энтропии (синий), усреднения (желтый), Оцу (зеленый) и IF&PA (красный)
Fig. 9. Graphs of ordered values of the Precision metric for images i=1, …, 100, processed by methods of maximum entropy (blue), averaging (yellow), Otsu (green) and IF&PA (red)
Рис. 10. Графики упорядоченных значений показателя Recall для изображений i=1, …, 100, обработанных методами максимума энтропии (синий), усреднения (желтый), Оцу (зеленый) и IF&PA (красный)
Fig. 10. Graphs of ordered values of the Recall metric for images i=1, …, 100, processed by methods of maximum entropy (blue), averaging (yellow), Otsu (green) and IF&PA (red)
Заключение
В статье рассмотрен метод сегментации изображения путем определения порога яркости с помощью предложенного и развиваемого авторами робастного метода комплексирования интервалов агрегированием предпочтений IF&PA. Результаты экспериментальных исследований 100 спутниковых изображений береговой линии показали, что предложенный метод обеспечил корректное разделение областей суши и моря на 84 изображениях, в то время как традиционные методы максимума энтропии, арифметического усреднения и Оцу показали корректные результаты только в, соответственно, 27, 76 и 73 случаях. Оценки метрик Precision, Recall и отклонения вычисленного порога от заведомо правильного значения показали преимущество предложенного метода над остальными протестированными методами по качеству сегментации.
About the authors
Duc Cuong Nguyen
National Research Tomsk Polytechnic University
Email: nguyen@tpu.ru
Postgraduate Student
Russian Federation, 30, Lenin avenue, Tomsk, 634050Sergey V. Muravyov
National Research Tomsk Polytechnic University
Author for correspondence.
Email: muravyov@tpu.ru
ORCID iD: 0000-0001-5650-1400
Dr. Sc., Professor
Russian Federation, 30, Lenin avenue, Tomsk, 634050References
- Schowengerdt R. Remote sensing: models and methods for image processing. New York, Academic Press, 2006. 560 p.
- Gonzalez R.C., Woods R.E. Digital image processing. New York, Pearson, 2018. 1192 p.
- Duda R.O., Hart P.E., Stork D.G. Pattern classification. New York, Wiley-Interscience, 2012. 688 p.
- Muravyov S.V., Khudonogova L.I., Emelyanova E.I. Interval data fusion with preference aggregation. Measurement, 2018, vol. 116, pp. 621–630.
- Chen C., Fu J., Zhang S., Zhao X. Coastline information extraction based on the tasseled cap transformation of Landsat-8 OLI images. Estuarine, Coastal and Shelf Science, 2019, vol. 217, pp. 281–291.
- Seale C., Redfern T., Chatfield P., Luo C., Dempsey K. Coastline detection in satellite imagery: A deep learning approach on new benchmark data. Remote Sensing of Environment, 2022, vol. 278, 113044.
- Çelik O. İ., Gazioğlu C. Coast type based accuracy assessment for coastline extraction from satellite image with machine learning classifiers, The Egyptian Journal of Remote Sensing and Space Science, 2022, vol. 25, no, 1, pp. 289–299.
- Hu X., Wang Y. Monitoring coastline variations in the Pearl River Estuary from 1978 to 2018 by integrating Canny edge detection and Otsu methods using long time series Landsat dataset. Catena, 2022, vol. 209, pp. 105840.
- Viaña-Borja S.P., Ortega-Sánchez M. Automatic methodology to detect the coastline from Landsat images with a new water index assessed on three different Spanish Mediterranean deltas. Remote Sensing, 2019, vol. 11, no. 18, 2186.
- Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, vol. 9, no. 1, pp. 62–66.
- Gull S.F., Skilling J. Maximum entropy method in image processing. IEE Proceedings F (Communications, Radar and Signal Processing), 1984, vol. 131, no. 6, pp. 646–659.
- Mello Román J.C., Vázquez Noguera J.L., Legal-Ayala H., Pinto-Roa D.P., Gomez-Guerrero S., García Torres M. Entropy and contrast enhancement of infrared thermal images using the multiscale top-hat transform. Entropy, 2019, vol. 21, no. 3, 244.
- Khudonogova L.I. Interval measurement data fusion by the method of preference aggregation. Cand. Diss. Abstract. Tomsk, 2017. 23 p. (In Russ.)
- Ho M.D. Accuracy enhancement of heteroscedastic measurement data analysis. Cand. Diss. Abstract. Tomsk, 2021. 21 p. (In Russ.)
- Emelyanova E.Y. Preference aggregation based on the exact solution of Kemeny ranking problem. Cand, Diss. Abstract. Tomsk, 2022. 23 p. (In Russ.)
- Riani M., Torti F., Zani S., Outliers and robustness for ordinal data. Kenett R.S., Salini S. (Eds.) Modern Analysis of Customer Surveys. New York, John Wiley & Sons, 2012. pp. 155–169.
- Kemeny J.G., Snell J.L. Mathematical models in the social sciences. Cambridge, MIT Press, 1972. 145 p.
- Litvak B.G. Expert information: methods for obtaining and analysis. Moscow, Radio i svyaz Publ., 1982. 184 p. (In Russ.)
- Muravyov S.V. Ordinal measurement, preference aggregation and interlaboratory comparisons. Measurement, 2013, vol. 46, pp. 2927–2935.
- Muravyov S.V., Emelyanova E.Y. Kemeny rule for preference aggregation: reducing all exact solutions to a single one. Measurement, 2021, vol. 182, 109403.
- Muravyov S.V. Dealing with chaotic results of Kemeny ranking determination. Measurement, 2014, vol. 51, pp. 328–334.
- Rico N., Alonso P., Díaz I. Kemeny ranking aggregation meets the GPU. The Journal of Supercomputing, 2023, vol. 79, no. 9, pp. 10335–10352.
- Muravyov S.V., Nguyen D.C. Automatic segmentation by the method of interval fusion with preference aggregation when recognizing weld defects. Russian Journal of Nondestructive Testing, 2023, vol. 59, no. 12, pp. 1280–1290. (In Russ.)
- EarthExplorer. Available at: http://earthexplorer.usgs.gov (accessed: 7 October 2023).
- Chicco D., Jurman G. The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics, 2020, vol. 21, no. 1, pp. 1–13.
- Tharwat A. Classification assessment methods. Applied Computing and Informatics, 2020, vol. 17, no. 1, pp. 168–192.
- Sigut J., Fumero F., Nuñez O. Over- and under-segmentation evaluation based on the segmentation covering measure. Proceedings of the 23rd International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG'2015), Pilsen, Czech Republic, 2015. pp. 83–89.
Supplementary files
