УДК 681.3.01:519.67

Актуальность. Под сегментацией понимают процесс разбиения изображения на непересекающиеся области, семантически соответствующие объектам. Такая процедура необходима для решения различных задач: определения объектов на фотографиях, сделанных со спутников (дорог, лесов, и т. п.); распознавания отпечатков пальцев; распознавания лиц; обработки медицинских изображений (определения опухолей и других патологий, определения объемов тканей, диагностики, планирования лечения, изучения анатомической структуры).

Сегментация изображения обеспечивает снижение объема обрабатываемой информации. В процессе распознавания образов сегментация занимает одно из основополагающих мест по причине зависимости качества решения, получаемого в результате работы системы распознавания образов в целом, от правильно выделенных объектов. Ошибочное определение положения и размеров объектов на изображении,  причиной которого может служить избыточная или недостаточная сегментация, в значительной степени усложняет получение приемлемого решения задачи и приводит к ошибочным результатам.

В процессе сегментации  проводится разбиение изображения на области, однородные по какому-нибудь признаку: интенсивности, текстуре, цвету. Большинство существующих методов сегментации, такие как методы прямой кластеризации в цветовом пространстве, методы, основанные на стохастических моделях, методы наращивания областей, морфологического водораздела, диффузии энергии, разрезания графов,  хорошо работают на однородных цветных областях. Но семантические объекты обычно  соответствуют областям, однородным не только по цвету, но и по текстуре. Однако многие методы текстурной сегментации требуют оценки параметров текстурной модели, что является сложной задачей, которая решается в четко выделенной однородной области для получения устойчивой оценки.

Анализ существующих методов решения задачи. Одним из методов сегментации цветных изображений на однородные текстурные области является метод JSEG [1]. Согласно этому методу вместо оценки параметров модели текстуры проверяется однородность каждого фрагмента изображения, что приводит к сокращению объема вычислений. Метод JSEG включает 2 этапа: квантование цветов и пространственную сегментацию по текстурному признаку. На первом этапе цвета на изображении квантуются  на несколько представительных классов, которые могут быть использованы для дифференциации областей изображения. Это квантование происходит в цветовом пространстве без учета пространственного расположения цветов. Значения цветов пикселей изображения изменяются на соответствующие им маркеры классов, тем самым формируя карту значений цвета изображения. Последняя может быть рассмотрена как текстурное изображение. На втором этапе пространственная сегментация применяется прямо к карте значений цвета, без учета сходства цветов соответствующих пикселей. Для этого определен текстурный признак сегментации на основе карты значений цвета изображения. Вычисление этого признака в локальных окнах на карте значений цвета изображения выполняется путем определения в окрестности каждого пикселя J-величины — нормированной разности общей дисперсии координат пикселей окрестности и внутриклассовой  дисперсии координат пикселей окрестности. Чем выше значение J-величины в окрестности пикселя изображения, тем больше вероятность того, что соответствующий пиксель принадлежит границе однородной области. Свойства результата J-преобразования позволяют использовать методы наращивания областей для определения «центров группирования» с последующим присоединением соседних пикселей изображения. В качестве «центов группирования» выбираются пиксели с малыми значениями J-величины. После наращивания областей проводится слияние мелких фрагментов изображения.

Преимущество метода JSEG в том, что отделение сходства цвета пикселей от их пространственного расположения позволяет развивать методы обоих этапов сегментации. Метод обладает высокой помехоустойчивостью и может проводить сегментацию  изображения на разных масштабах за счет варьирования размера окрестностей пикселей карты значений цвета. Недостаток метода JSEG — высокая погрешность определения координат точек границ однородных областей, пересегментация в области теней объектов, недостаточная сегментация в случае плавного изменения значений цвета на изображении.

Постановка задачи. Целью работы являлось снижение погрешности определения координат точек границ| однородных областей цветного изображения методом сегментации JSEG| путем модификации J-преобразования. Усовершенствованный метод исследован на тестовых изображениях и применен для сегментации цветных цифровых фотоснимков.

Математическая модель цветного изображения. Цветовая модель описывает цвета изображения стандартным образом, определяя некоторую систему координат и подпространство внутри этой системы, в которой каждый цвет представляется единственной точкой [2]. Существующие цветовые модели ориентированы на устройства воспроизведения (цветные принтеры, мониторы) или на прикладные задачи, возникающие при работе с графикой (создание цветной графики в анимации). Аппаратно-ориентированными цветовыми моделями является модель RGB для цветных мониторов, модель CMY для цветных принтеров и модель HSI, соответствующая цветовосприятию человека. Недостаток этих моделей в том, что соответствующие цветовые пространства не являются перцептивно однородными и не могут использоваться для вычисления цветовых расстояний. Поэтому в работе использовалось цветовое пространство Luv [3]. Это пространство является колометрическим, т. е. одинаково воспринимаемые цвета имеют одинаковые цветовые координаты, и равноконтрастным (т. е. равным изменениям координат цветности соответствуют равные изменения в ощущении цвета). Параметр L соответствует интенсивности цвета, u отвечает за переход от зеленого к красному (при увеличении), а при увеличении параметра v происходит переход от синего к фиолетовому. Если u и v равны 0, то, изменяя L, получаем цвета, являющиеся градациями серого.

В качестве расстояния между цветами  и  используется евклидово расстояние:

.                                                (1)

Достоинство пространства Luv в том, что оно учитывает восприятие цветов человеком и различие между цветами определяется формулой (1), которая применяется в определенных условиях: освещение, фон не должны мешать и отвлекать наблюдателя.

Квантование цветов изображения. Обычные 24-битные цветные изображения имеют тысячи цветов, которые тяжело обрабатывать непосредственно. На первом этапе метода сегментации JSEG, цвета на изображении квантуются. В результате| квантования|, полученным| интервалам| значений цвета присваиваются| маркеры|. Класс значений цвета — это набор| пикселей| изображения|, принадлежащих| одному интервалу|. Цвет пикселей| изображения| заменяется| на соответствующий| маркер класса значений цвета|. Полученное изображение|, состоящее| из| таких маркеров|, называется| картой значений цвета|.

Моделирование карты значений цвета на изображении. Карта значений цвета на изображении может рассматриваться как некоторая композиция текстур. Значение каждой точки на карте значений цвета характеризуется ее координатами на изображении, двумерным вектором (x, y). Каждая точка принадлежит некоторому классу значений цвета.

Классы значений цвета могут быть описаны при помощи модели статистической текстуры. В [4] приведено несколько моделей для представления статистических текстур. В основе этих моделей лежит гипотеза о том, что образцы текстур — это выборка из некоторого вероятностного распределения.

Учитывая приведенное понятие статистической текстуры, примем следующую модель представления текстуры на карте значений цвета пикселей изображения. Пусть     х=1, …, P; у=1, …, М — пространственные координаты. Пусть Z — множество всех N точек карты значений цвета. Предположим, что m — среднее значение координат пикселей карты значений цвета:

.

где z =(x,y) – вектор значений координат пикселя изображения.

Допустим, что множество Z расклассифицировано на С классов, Z_i, i=1, …, C. Пусть  m_i – среднее значение координат  N_i точек класса Z_i,

.

Модель статистической текстуры, описывающая координаты пикселя класса Z_i, имеет вид:

,

где  — белый гауссовский шум с нулевым средним и дисперсией . Тогда модель текстуры, описывающая координаты пикселя z, определяется формулой

,

где  — характеристическая функция множества Z_i, i=1, …, C.

На границах классов значений цвета Z_i значения фоновой составляющей координат пикселей карты значений цвета изображения и значения дисперсии шума скачкообразно изменяется, но это  изменение ограничено:

,
,

где  — параметр модели.

J-преобразование карты значений цвета на изображении. Обозначим

, ,

где  — это дисперсия координат точек на всем изображении, а  — это суммарная дисперсия координат точек, которые принадлежат одному классу. Здесь  зависит от размера и формы окрестности обработки в точке , но не зависит от самих значений координат точки .

J-величина определялась по формуле [1]

,                                                  (2)

что основано на линейном дискриминанте Фишера [5] для нескольких классов в случае произвольного распределения значений из разных классов.

В случае, когда изображение состоит из нескольких однородных цветных областей, классы значений цвета отделены друг от друга и значения J велики (рис. 1, а; J=1,720)|великое|. С другой стороны, если значения цвета из разных классов равномерно распределены по всему изображению, то значение J мало (рис. 1, б; J=0). Для карты значений цвета изображения с рис. 1, в, J=0,855, что указывает на более близкое к равномерному распределение значений цвета из разных классов|разделение|, чем у карты, представленной на рис. 1, а. Заметим, что каждая карта значений цвета содержит три класса и количество точек каждого класса одинаково на всех трех картах значений цвета.

            а                                  б                                 в                               г                         д

Рис.1 Карты| значений цвета [1]: исходные (а, б, в) и сегментированные (г, д).| Значения| маркеров| классов| карты значений цвета представлены| |символами: «*»|, «+»| и «о»|

Рассмотрим карту значений цвета изображения с рис. 1, а. |…         "Идеальной|хорошей|" сегментацией для этого случая является разбиение на три области, каждая из которых|каких| содержит только точки, принадлежащие одному классу (рис. 1, г). Карта значений цвета с рис. 1, б однородная и не требует сегментации. Для карты значений цвета с рис. 1, в, | "идеальной"  сегментацией является разбиение на две области. Одна область содержит пиксели, принадлежащие классу "+"|, вторая  — пиксели, принадлежащие классам "*"| и "о" (рис. 1, д).

Т. о. результат вычисления J |исчисление| по локальной области карты значений цвета является идентификатором однородности текстурной области цветного изображения. Поэтому на одном из этапов метода сегментации JSEG (рис. 2) строилось изображение, значения пикселей| которого|какого| представляют собой значения J-величин | в окрестностях этих пикселей|. Такое изображение называлось J-изображение|, а значение пикселя такого изображения — локальное значение J-величины|. Чем выше локальное значение J-величины|, тем более вероятно, что соответствующий пиксель лежит на границе| однородных областей цветного текстурного изображения. J-изображение можно представить как трехмерное изображение ландшафта, для которого|какого| хребты|хребет| представляют границы| областей, а долины — однородные области.

Размер окна обработки определяет минимальный размер однородной области изображения. В данной работе для метода JSEG| использовалось круглое окно 9x9 на наименьшем масштабе. На следующем масштабе размер окна удваивался и частота выборки уменьшалась (см. рис. 2). Множество масштабов, которые задают детальность| сегментации изображения, определялось пользователем.

К результату J-преобразовани|я изображения по формуле (2), которая использовалась в скользящем окне обработки, применялся гауссовский фильтр. Коэффициенты этого фильтра рассчитывались путем дискретизации функции

где — параметр. Гауссовский фильтр является низкочастотным, он использовался с целью повышения помехоустойчивости результата J-преобразовани|я.

Рис. 2 Схема алгоритма пространственной сегментации [1]

В модификации I J-преобразовани|я предлагается перед применением формулы (2) дополнительно сглаживать изображение с помощью фильтра  с коэффициентами .

Такой сглаживающий фильтр меньше размывает контуры и текстуру на изображении значений пространственного признака сегментации по сравнению, например, с гауссовским  фильтром. Пусть изображение, значения интенсивности которого соответствуют суммарной дисперсии  координат точек, принадлежащих одному классу значений цвета в окрестности точки , по строкам и столбцам сглаживалось  фильтром . Полученное изображение обозначим . В результате модификации I J-преобразование рассчитывалось по формуле

.                                                            (3)

|е рассчитывалось по формулеее…..ее Дополнительное сглаживание значений пространственного признака сегментации повышает помехоустойчивость результата J-преобразования, а также снижает погрешность определения координат точек границ| однородных областей изображения. Последнее достигается путем сужения импульсов J-преобразования за счет сглаживания колебаний на фронте и срезе импульсов.

Для снижения погрешности определения координат точек границ| однородных областей изображения к значению пространственного признака сегментации предлагается также применять подчеркивающее преобразование

,                                                                 (4)

где r — значение пространственного признака сегментации, , s — результат подчеркивающего преобразования, c, g — константы, . В данной работе эти константы полагались равными 1 и -3 соответственно.

С учетом (4) модификации II и III J-преобразовани|я проводились по формулам

                                ,                                                               (5)

                              ,                                                  (6)

которые отличались лишь способом нормирования J-величины.

Экспериментальные исследования. В процессе экспериментальных исследований оценивались эффективная длительность подчеркнутого перепада пространственного признака сегментации изображения, а также помехоустойчивость и качество метода сегментации JSEG с применением предложенных модификаций J-преобразования|.

Тестовое изображение состояло из 128x256 пикселей. В центре этого изображения находился|перебывает| вертикально ориентированный красно-|червонный|зеленый перепад. J-преобразование данного изображения можно представить в виде полутонового изображения (рис.| 3), для которого|каком| локальное значение J-величины| отвечает значению интенсивности.

а                                              б

Рис. 3 Тестовое изображение (а) и результат J-преобразования (б)

Эффективная длительность подчеркнутого перепада пространственного признака сегментации — показатель, функционально связанный с погрешностью определения координат точек границ однородных областей изображения. Он определялся по ослаблению результата J-преобразования  тестового изображения с рис. 3 до 0,5 от максимального значения (табл. 1).

Согласно результатам табл. 1 и рис. 4, наименьшая эффективная длительность импульса для J-преобразования тестового изображения получена при помощи  модификации III (на 33,33% ниже, чем для базового J-преобразования).  |с| Модификация II вообще не уменьшает эффективную длительность импульса для J-преобразования тестового изображения и, следовательно, не дает снижения погрешности определения координат точек границ однородных областей изображения. Модификация I J-преобразования позволила получить промежуточный результат: снижение эффективной длительности импульса результата J-преобразования на 16,67% по сравнению с базовым преобразованием.

    Таблица 1

Результаты исследования эффективной длительности импульса модификаций

J-преобразования

а

б

Рис. 4 Строка изображения J-преобразования без использования гауссовского фильтра (а) и с использованием гауссовского фильтра (б): 1 — базового J-преобразования; 2 — после модификации I по формуле (3), 3 — после модификации II по формуле (5), 4 — после модификации III по формуле (6)

При проведении экспериментальных исследований метода JSEG сегментации изображения с учетом предложенных модификаций J-преобразования оценивалась его помехоустойчивость и качество выделения границ сегментов. На каждую цветовую компоненту тестового изображения был наложен белый гауссовский шум. Отношение сигнал/шум по мощности определялось как , где h — разница значений цветовой компоненты.

При оценке помехоустойчивости метода сравнивались идеально и реально сегментированные изображения по критерию Прэтта [6] (рис. 5, а).

Показателем качества сегментации изображения выбрано расстояние между границами тестового идеально сегментированного изображения  и сегментированного методом  JSEG  I^t [7]:

,

где D — длина границ выделенных сегментов в пикселах, M, P — размеры изображения.

На рис. 5, б приведен график зависимости показателя качества от отношения сигнал/шум.

           а

           б

Рис. 5 Зависимость критерия Прэтта (а) и показателя качества (б) от отношения сигнал/шум для метода сегментации JSEG с использованием: 1 — базового J-преобразова-ния; 2 — после модификации I по формуле (3), 3 — после модификации II по формуле (5), 4 — после модификации III по формуле (6)

Анализируя полученные результаты, следует заметить, что по критерию Претта метод сегментации цветных изображений JSEG с использованием разработанной модификации I  превышает базовый метод J-преобразования в 1,01 – 1,04 раз при отношении сигнал/шум 1 – 7 по мощности. При остальных значениях отношения сигнал/шум для метода JSEG с учетом разработанных модификаций J-преобразования по критерию Претта получены сходные результаты. По показателю качества метод JSEG с использованием модификации I J-преобразования превышает базовый метод JSEG в 1,08 – 1,49 раз при отношении сигнал/шум 3 —  20 по мощности.

Т. о. в результате применения метода JSEG с учетом предложенных модификаций J-преобразования к тестовому изображению наблюдалось снижение погрешности определения координат точек границ однородных областей изображения. При этом показатели качества и помехоустойчивости сравнимы или улучшены по сравнению с базовым методом JSEG.

Применение метода JSEG к реальным изображениям. Метод JSEG | может быть применен для сегментации цветных изображений, полученных с помощью обычных цифровых фотоаппаратов. Результаты сегментации могут быть использованы для последующей обработки в системе распознавания образов, особенно для выделения областей, однородных по цветовым и текстурным| признакам. Например, для| изображения ствола дерева на фоне леса (рис. 6, а) результат сегментации с применением базового J-преобразования (рис. 6, б), модификации I (рис. 6, в) и модификации II (рис. 6, г) характеризуется наличием большого числа пересегментированных| областей, в отличие от модификации III (рис. 6, д), на котором ствол дерева выделен как один сегмент.

Для изображения оазиса на вспаханном поле (рис. 6, е)  результат сегментации с применением базового J-преобразования (рис. 6, ж), модификации I (рис. 6, з) и модификации II (рис. 6, и) также характеризуется наличием большого|великого| числа пересегментированных| областей, в отличие от модификации III (рис. 6, к), в результате применения которой оазис|какая| выделен как один сегмент.

|

                      а                  б                   в                   г                    д                    

    е                   ж                   з                    и                   к

                         л                  м                   н                    о                    п                     

Рис. 6 Реальные изображения (а, е, л) и результат их сегментации методом JSEG с выполнением J-преобразования по формулам (2) (б, ж, м), (3) (в, з, н), (5) (г, и, о), (6) (д, к, п)

Еще один пример — изображение теннисной подачи (рис. 6, л). Результаты сегментации с применением базового J-преобразования (рис. 6, м) и модификации II (рис. 6, о) также характеризуются наличием большого|великого| числа пересегментированных| областей, лишними контурами, неровными|неровными| границами|. Результат сегментации с применением модификации I J-преобразования (рис. 6, н) тоже характеризуется пересегментированными | областями, но все границы| выделены с меньшей погрешностью. Для результата сегментации с применением модификации III J-преобразования (рис. 6, п) не характерны такие проблемы, как для других модификаций, однако из-за сходства цвета|из-за| кисти руки и фона, рука не выделена как отдельный сегмент.

Выводы. В работе предложены модификации J-преобразования, подчеркивающего границы однородных текстурных областей на цветном изображении. Эти модификации использовались в методе JSEG сегментации цветных изображений. В результате применения модификаций I и III была снижена погрешность определения координат точек границ однородных областей тестового изображения на 16% и 33% соответственно. При этом использование модификации I J-преобразования в составе метода сегментации JSEG привело к улучшению качества сегментации до 1,5 раз. Применение предложенных модификаций J-преобразования привело лишь к незначительному улучшению помехоустойчивости метода JSEG на тестовом изображении. Проведенные исследования также показали, что модификация II J-преобразования не позволяет снизить погрешность определения координат точек границ однородных областей тестового изображения и ее дальнейшее использование нецелесообразно.

Метод JSEG с учетом разработанных модификаций J-преобразования был применен для сегментации цифровых цветных фотоснимков. В большинстве случаев лучшие результаты были получены с использованием модификации III J-преобразования.

Т. о. разработанные модификации I и III J-преобразования рекомендуется использовать в процессе применения метода JSEG для сегментации цветных изображений естественных сцен.

ЛИТЕРАТУРА

1.                  Deng Y., Manjunath B.S., Unsupervised segmentation of color-texture regions in images and video // IEEE Trans. Pattern Analysis and Maсhine Intelligence. – 2001. – V. 23, № 8. – P. 800 – 810.

2.                  Гонсалес Р., Вудс Р. Цифровая обработка изображений / Пер. с англ. – М.: Техносфера, 2005. – 1072 с.

3.                  Столниц Э., ДеРоуз Т., Салезин Д. Вейвлеты в компьютерной графике / Пер. с англ. – Ижевск: НИЦ РХД, 2002. – 272 с.

4.                  Харалик Р. Статистический и структурный подходы к описанию текстур // ТИИЭР. – 1979. – Т. 67, № 5. – С. 98 – 120.

5.                  Дуда Р., Харт П. Распознавание образов и анализ сцен / Пер. с англ. – М.: Мир, 1978. – 510 с.

6.                  Прэтт У. Цифровая обработка изображений. Т. 2. – М.: Мир, 1982. – 790 с.

7.                  Абакумов В.Г., Крылов В.Н., Антощук С.Г. Повышение эффективности обработки образной информации в автоматизированных системах // Электроника и связь: Темат. вып. «Проблемы электроники». – 2005. – Ч. 1. – С. 100 – 105.