LUT generator based on smooth piecewise linear parameterized function

Full Text

Введение

Визуализация изображений с широким динамическим диапазоном становится все более востребованной в различных областях – от компьютерной графики до медицинской визуализации и цифрового искусства. Одним из ключевых методов улучшения восприятия таких изображений является использование специальных инструментов для их обработки. К таким инструментам относится генератор таблиц соответствия для работы с монохромными изображениями, который позволяет преобразовывать изображение с учетом широкого диапазона интенсивностей пикселей, обеспечивая оптимальное отображение деталей как в светлых, так и в темных участках изображения. В настоящий момент преобразование изображений является широко изученной областью, в которой разработано огромное множество техник и написано большое количество библиотек [1–5] и, в частности, в области обработки изображений в радиологии [6–9].

Таблицы преобразования (Lookup Tables или LUTs) – это таблицы соответствия, которые применяются для преобразования значений пикселей исходного изображения в новые значения. В контексте монохромных изображений с широким динамическим диапазоном LUT играет важную роль в преобразовании и оптимизации уровней яркости, что позволяет лучше адаптировать изображение для отображения на устройствах с ограниченным динамическим диапазоном. Генерация и настройка LUT для таких изображений требует понимания их физических характеристик и визуальных потребностей. Подробнее с данными вопросами можно ознакомиться в [10, 11].

В предыдущей статье [12] был предложен метод выравнивания гистограммы, который позволяет «развернуть» информативную часть гистограммы на весь динамический диапазон. Однако в рентгенографии возникает задача специфической коррекции изображения при работе с определенными тканями или частями тела. Если, к примеру, требуется исследовать твердые ткани, то целесообразно растянуть динамический диапазон для тусклых участков изображения, в то время как для мягких тканей может быть уместным растягивание динамического диапазона для среднего участка гистограммы и т.д. Для таких преобразований рационально использовать LUTs, так как функция преобразования пикселя зависит только от исходного значения пикселя.

В работе предложен алгоритм генерации LUTs для решения задачи оптимального отображения деталей. Несмотря на то, что LUTs могут быть использованы для разнообразных задач, таких как гамма-коррекция или инверсия изображения (или отдельных участков гистограммы), разработанный генератор специфичен для описанной выше задачи и содержит минимальное число параметров для более быстрого получения нужного результата.

Код с возможностью визуализации и настройки параметров функции преобразования написан на языке Python и представлен в файле формата Jupyter (с расширением *.ipynb) с подробной аннотацией, размещенной в репозитории, который доступен по ссылке: https://github.com/ordevoir/PapersWithCode/tree/master/LUT_Generator

 

Look Up Tables

 

Lookup Table (LUT) представляет собой таблицу соответствий для преобразования интенсивностей пикселей. Для 16-битных изображений LUT может быть представлен в виде последовательности целых неотрицательных чисел длины $65536$. Значения элементов последовательности варьируются в диапазоне $[0,65535]$. Преобразование изображения с использованием LUT производит попиксельное изменение исходного изображения, при котором исходное значение каждого пикселя заменяется значением из таблицы: индекс элемента последовательности соответствует интенсивности пикселя в исходном изображении, а значение по индексу определяет интенсивность пикселя результирующего изображения.

Метод LUT является табличным представлением некоторой функции $f\left(x\right)$ от одной переменной. Область определения функции – $[0,65535]$, область значения функции может содержать значения только в пределах диапазона $[0,65535].$. Таким образом, применение LUT равносильно преобразованию каждого пикселя соответствующей функцией. Значение пикселя результирующего изображения определяется только значением пикселя исходного изображения, в отличие от ядерных фильтров, в которых результирующее значение зависит также и от значений соседних пикселей.

Применение LUT вместо функции преобразования существенно увеличивает производительность за счет сокращения вычислений. При преобразовании пикселей при помощи функции необходимо вызвать функцию для каждого пикселя изображения. Если, к примеру, требуется преобразовать изображение размером $1000\times 1000$, то необходимо произвести вызов функции ${10}^6$ раз. Если используется LUT для преобразования, то необходимо произвести ${10}^6$  раз замену значения, что может быть существенно дешевле (в вычислительном плане), чем вызов функции. Для генерации LUT необходимо вызвать функцию 65536 раз и далее можно использовать ее для преобразования неограниченного числа изображений. С учетом того, что фактически рентгеновские изображения состоят из $~ {10}^7$ и более точек рост производительности за счет использования LUT вместо непосредственного вызова функций проявляется существенно.

Требования к функции

Функция в соответствии с поставленной задачей должна обладать несколькими свойствами. Так как целью является увеличение динамического диапазона определенного участка изображения, функция должна быть монотонной. Функция тождественного преобразования $f\left(n\right) = n$ всюду имеет значение производной, равное 1. Соответственно, на участках гистограммы, которые требуется растянуть, функция преобразования должна иметь производную больше 1. Если требуется сохранение динамического диапазона, то функция преобразования на границах диапазона $[0,65535]$ должна совпадать с функцией тождественного преобразования. Функция преобразования будет неизбежно содержать участки с производной меньше 1 (если она отлична от тождественной функции), поэтому за счет расширения динамического диапазона определенного участка гистограммы неизбежно сокращение динамического диапазона для других участков гистограммы.

Таким образом, функция будет представлять собой монотонно возрастающую функцию, всюду определенную для целых чисел в диапазоне $[0,65535]$, область значений которой не выходит за пределы диапазона $[0,65535]$. Некоторый участок функции должен возрастать с производной больше 1. Необходимо иметь возможность задавать ширину этого участка, крутизну и расположение. При этом она должна быть гладкой и должна быть возможность регулировать плавность перехода.

Функция преобразования

В качестве такой функции будет использоваться кусочная функция, составленная из сигмоиды и линейной функции. Нас интересует поведение функции на отрезке $[0,1]$. Область значений функции на этом отрезке не должна выходить за пределы отрезка $[0,1]$. Если построить непрерывную функцию в этой области, удовлетворяющую обозначенным выше требованиям, то нетрудно будет получить ее дискретный вариант в диапазоне [0, 65535].

За крутой участок функции будет отвечать линейная функция:

$g\left(x\right)=k(x-b).$  (1)

Крутизна и расположение могут быть заданы при помощи параметров $k$ и $b$ соответственно.

За остальные участки функции будет отвечать сигмоида:

$\sigma \left(x\right)=\frac{1}{1+e^{-\alpha (x-d)}}$ (2)

Параметр $\alpha$ позволит управлять плавностью перехода, а параметр $d$ – сдвигом вдоль оси абсцисс.

Для того чтобы гладко «сшить» эти функции, необходимо определить точки сигмоиды, на которых производная функции принимает значение $k$. Производная сигмоиды может быть выражена через саму сигмоиду:

${\sigma }^{\text{'}}\left(x\right)=\alpha \sigma \left(x\right)(1-\sigma (x\left)\right)$ 

Решая квадратное уравнение, получаем, что ${\sigma }^{\text{'}}\left(x\right)=k$ при

$y_{\mathrm{1,2}}=\sigma \left(x\right)=\frac{1}{2} \left(1\pm \sqrt{1-\frac{4k}{\alpha }}\right).$ (3)

Полученные значения $y_1$ и $y_2$ соответствуют значениям функций, при которых их нужно сшить, и являются общими как для линейной функции, так и для сигмоиды. Для того чтобы найти значения аргументов функций, при которых они принимают значения $y_1$ и $y_2$, воспользуемся обратными функциями. Обратная функция для линейной функции

$g^{-1}\left(y\right)=\frac{y}{k}+b$

возвращает соответствующие значения $x_1$ и $x_2$. Для нахождения значений аргументов сигмоидальной функции воспользуемся его обратной функцией (logit):

${\sigma }^{-1}\left(y\right)=d-\frac{1}{\alpha }\left(\frac{1-y}{y}\right).$

Получаемые по $y_1$ и $y_2$ значения аргументов $x_1^{*}$ и $x_2^{*}$ для сигмоидальной функции в общем случае не совпадают со значениями $x_1$ и $x_2$. Поэтому для совмещения функций необходимо производить дополнительные сдвиги для правой и левой частей сигмоиды на величину $\text{Δ}x=\left|x_1-x_1^{*}\right|$.

На параметры функций накладываются некоторые ограничения: для линейной функции значение $k$ должно быть больше 1; для заданного $k$ значение параметра $\alpha$ сигмоиды должно быть не менее $4k$, иначе функция не будет иметь точек, на которых ее производная принимает значение k.

В результате получается монотонно возрастающая непрерывная гладкая функция, всюду определенная на $\left[\mathrm{0,} 1\right]$ с областью значений в $\left(\mathrm{0,} 1\right)$. Для получения окончательного результата функцию необходимо сложить тождественной функцией и масштабировать, чтобы область ее значений лежала в $\left[\mathrm{0,} 1\right]$. Также нужно установить нулевое смещение, равное $0.5$, чтобы параметр смещения при нуле располагал линейную часть функции в центре отрезка $\left[\mathrm{0,} 1\right]$.

Параметры функции

Функция преобразования имеет 4 параметра, которые в коде соответствуют именованным аргументам функции: span, shift, smoothness и strength. Рассмотрим график функции (Default LUT) при значениях по умолчанию span=.25, shift=0.0, smoothness=0.9, strength=1.0, который изображен на диаграмме (рис. 1) сплошной синей линией (подробнее параметры будут описаны ниже). Значения параметров по умолчанию не подбирались целенаправленно для оптимизации в соответствии с конкретной целью, однако могут служить отправной точкой.

 

Рис. 1. Тождественная функция и функция преобразования со значениями по умолчанию

Fig. 1. Identity function and transformation function with default values

 

На диаграмме также изображен график тождественной функции (Identical LUT) серой пунктирной линией. Очевидно, что применение данной функции преобразования с параметрами по умолчанию произведет увеличение динамического диапазона для пикселей, лежащих в диапазоне около $\left[\mathrm{25000,} 40000\right]$ до диапазона около $\left[\mathrm{18000,} 47000\right]$. Такое преобразование может существенно увеличить «читаемость» мягких тканей. Конечно, увеличение данного динамического диапазона достигается уменьшением динамического диапазона остальной области значений пикселей.

Параметр span характеризует ширину крутого участка подъема функции. Рабочие значения меняются в диапазоне $\left[\mathrm{0.05,} 0.5\right]$. Параметр shift отвечает за смещение участка подъема вдоль оси абсцисс. Рабочие значения меняются в диапазоне $\left[-\mathrm{0.5,} 0.5\right]$. Отрицательные значения смещаются влево, положительные – вправо. Параметр smoothness характеризует сглаженность перехода к крутому участку функции. Рабочие значения меняются в диапазоне $\left[\mathrm{0.0,} 1.0\right]$. Параметр strength характеризует, насколько сильно будет выражено преобразование. Рабочие значения меняются в диапазоне $\left[\mathrm{0.1,} 10.0\right]$.

Приведем для наглядности пару примеров применения LUT. На рис. 2 изображен результат применения LUT, сгенерированного по значениям по умолчанию, график функции которой изображен на рис. 1. Следует отметить, что значения по умолчанию не являются оптимальными для мягких тканей, поэтому, произведя некоторую коррекцию параметров, можно получить более подходящий LUT. Рис. 2 служит, скорее, для демонстрации преобразования со стандартными параметрами.

 

Рис. 2. Слева – исходное изображение, справа – результат применения LUT, полученного при значениях по умолчанию

Fig. 2. The original image is on the left, the result of applying the LUT obtained with default values is on the right

 

В качестве второго примера рассмотрим LUT, пригодный для плотных тканей, полученный функцией преобразования со следующими параметрами: span=.4, shift=-0.35, smoothness=0.99, strength=11.5. График функции можно видеть на рис. 3.

 

Рис 3. Функция преобразования для плотных тканей

Fig. 3. Transformation function for dense tissues

 

На рис. 4 можно видеть результат применения данного LUT. Можно заметить, что в результате такого преобразования существенно увеличивается «читаемость» костей.

Подбор параметров зависит от распределения плотности исследуемых тканей. Чем плотнее ткань, тем больше будет абсолютное значение shift (положительное для негатива). Если плотность ткани варьирует в небольшом диапазоне, то и значение span следует ограничить. Следует, однако, подчеркнуть, что для установки оптимальных значений требуется оценка эксперта.

 

Рис. 4. Слева – исходное изображение, справа – результат применения LUT для плотных тканей

Fig. 4. Left – original image, right – result of applying LUT for dense tissues

 

Композиция функций преобразования

Так как функция преобразования не выходит за пределы области определения функции, можно построить функции с различными параметрами путем композиции функций. Следует, однако, иметь в виду, что операция композиции пары функций $f$ и $g$ не является коммутативной ($f\circ g\ne g\circ f$).

Гибкость генерации LUT может быть увеличена также путем композиции с другими функциями, например, с функцией гамма-коррекции.

About the authors

M. А. Kazakov

Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences

Author for correspondence.
Email: kasakow.muchamed@gmail.com
ORCID iD: 0000-0002-5112-5079
SPIN-code: 6983-1220

Institute of Applied Mathematics and Automation, Junior Researcher of the Department of Neuroinformatics and Machine Learning

Russian Federation, 360000, Nalchik, 89 A Shortanov street

References

Supplementary files