Применение mpeg-7 для классификации и поиска визуальных...

Применение MPEG-7 для Применение MPEG-7 для классификации и поиска классификации и поиска

визуальных данныхвизуальных данных

Вихровский КириллВихровский Кириллvkirv@mail.ruvkirv@mail.ru

Graphics & Media LabGraphics & Media Lab

Проблемы поиска Проблемы поиска мультимедиа данныхмультимедиа данных

Более 90% информации создается и хранится в Более 90% информации создается и хранится в цифровом видецифровом виде

цифровых архивовцифровых архивов широковещательных потоковшироковещательных потоков в форме частных или профессиональных баз в форме частных или профессиональных баз

данныхданных

Большинство систем хранения и поиска Большинство систем хранения и поиска информации не предоставляют возможности информации не предоставляют возможности поиска мультимедиа данных поиска мультимедиа данных либо имеют собственный формат описания свойств либо имеют собственный формат описания свойств

объектов объектов

Стандарт Стандарт MPEG-7MPEG-7

MPEG-7 MPEG-7 являетсяявляется стандартомстандартом ISO/IEC ISO/IEC ““Интерфейс для описания мультимедийного содержимого” Интерфейс для описания мультимедийного содержимого” - -

Multimedia Content Description InterfaceMultimedia Content Description Interface

Цель: стандартизовать описание семантики Цель: стандартизовать описание семантики мультимедийного материала, которое может быть мультимедийного материала, которое может быть передано для обработки ЭВМпередано для обработки ЭВМ

MPEG-7 использует схему XML в качестве языка MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания выбора текстуального представления описания материаламатериала

Средства стандартаСредства стандартаГлавными элементы стандарта MPEG-7: Главными элементы стандарта MPEG-7:

Дескрипторы Дескрипторы ((DescriptorsDescriptors) ) определяют синтаксис и семантику представления каждой из определяют синтаксис и семантику представления каждой из

характеристик элемента данныххарактеристик элемента данных Схемы описанияСхемы описания (Description Scheme) (Description Scheme)

специфицируют структуру и семантику взаимодействия между специфицируют структуру и семантику взаимодействия между компонентами (компонентами (дескрипторамидескрипторами и и схемами описания)схемами описания)

Язык описания определенийЯзык описания определений (Description Definition Language) (Description Definition Language) позволяет создавать новые позволяет создавать новые DSDS и, возможно, и, возможно, DD и обеспечивает и обеспечивает

расширение и модификацию существующих расширение и модификацию существующих DSDS Системные средстваСистемные средства

служат для поддержки двоичного представления, механизмов служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д.интеллектуальной собственности в описаниях MPEG-7, и т.д.

Поиск и классификацияПоиск и классификация

Контентно-зависимый поиск (Контентно-зависимый поиск (CBRCBR).). основываются на сравнении таких характеристик основываются на сравнении таких характеристик

как цвет, текстура или форма как цвет, текстура или форма

Поиск на основе метаданных (Поиск на основе метаданных (MBRMBR). ). использует более высокоуровневую использует более высокоуровневую

информацию, опираясь на ключевые слова или информацию, опираясь на ключевые слова или свободную текстовую аннотациюсвободную текстовую аннотацию

Поиск на основе метаданных:Поиск на основе метаданных: ПримерПример описания описания MPEG-7MPEG-7

<Mpeg7><Mpeg7><Description type="<Description type="SemanticDescriptionTypeSemanticDescriptionType">"><Semantics><Semantics><Label><Label>

   <Name><Name>Dodge ViperDodge Viper</Name> </Name> </Label></Label><Definition><Definition><FreeTextAnnotation><FreeTextAnnotation>mountain on the background</FreeTextAnnotation> </FreeTextAnnotation>

   </Definition></Definition><MediaOccurrence><MediaOccurrence><MediaLocator><MediaLocator><MediaUri><MediaUri>image.jpgimage.jpg</MediaUri> </MediaUri> </MediaLocator></MediaLocator></MediaOccurrence></MediaOccurrence></Semantics></Semantics></Description></Description>

</Mpeg7></Mpeg7>

Дескрипторы цвета MPEG-7Дескрипторы цвета MPEG-7

Устойчивы к изменению цветов фона и независимы от Устойчивы к изменению цветов фона и независимы от размера изображения и ориентации объекта в сценеразмера изображения и ориентации объекта в сцене

Цветовое пространство(Цветовое пространство(CSCS)) пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff),

матрица линейного преобразования с учетом RGB, монохромное матрица линейного преобразования с учетом RGB, монохромное

Масштабируемый цвет(Масштабируемый цвет(SCDSCD)) описывающий распределение цвета в изображенииописывающий распределение цвета в изображении может быть использован для эффективного поиска в базе может быть использован для эффективного поиска в базе

однородных данныходнородных данных

Доминантный цвет(Доминантный цвет(DCDDCD)) наиболее удобный для представления локальных характеристик наиболее удобный для представления локальных характеристик высокоскоростной поиск, где для предоставления цветовой высокоскоростной поиск, где для предоставления цветовой

информации достаточно малого числа цветовинформации достаточно малого числа цветов

Цветовое распределение(Цветовое распределение(CLDCLD)) описывает пространственное описывает пространственное

распределение цветов в областях распределение цветов в областях произвольной формыпроизвольной формы

Структура цвета(Структура цвета(CSDCSD)) локальные цветовые локальные цветовые

характеристики в изображениях характеристики в изображениях поиск, базирующийся на подобии поиск, базирующийся на подобии

естественных изображенийестественных изображений

Дескрипторы цвета MPEG-7Дескрипторы цвета MPEG-7

Дескрипторы текстурыДескрипторы текстурыМогут быть использованы как независимо, так и в Могут быть использованы как независимо, так и в

комбинации с другими MPEG-7 дескрипторамикомбинации с другими MPEG-7 дескрипторами

Однородная текстура(Однородная текстура(HTDHTD)) поиск и просмотр в большойпоиск и просмотр в большойколлекции сходно выглядящихколлекции сходно выглядящих образов образов

Краевая гистограмма(Краевая гистограмма(EHDEHD)) поиск изображений по образцам или наброскам, поиск изображений по образцам или наброскам,

в особенности для изображений с в особенности для изображений с нерегулярными краями нерегулярными краями

Дескрипторы формыДескрипторы формыПредоставляет мощное средство для поиска и сравнения в Предоставляет мощное средство для поиска и сравнения в базе изображенийбазе изображений

Форма, базирующаяся на Форма, базирующаяся на областях (областях (Region ShapeRegion Shape))

Форма, базирующаяся на Форма, базирующаяся на контуре (контуре (Contour ShapeContour Shape))

Дескрипторы формыДескрипторы формы

3D-форма (3D-форма (Shape 3DShape 3D)) Дескриптор 2D/3D формыДескриптор 2D/3D формы

3D объект может быть описан3D объект может быть описан конечным числом 2D форм конечным числом 2D форм

известен как дескриптор известен как дескриптор световых полейсветовых полей

устойчивый поиск в базе устойчивый поиск в базе объектов с различными объектов с различными разрешениями разрешениями

Экспериментальная модельЭкспериментальная модель Модули программного обеспечения XM Модули программного обеспечения XM

используют специфицированные интерфейсыиспользуют специфицированные интерфейсы

Это позволяет облегчить навигацию среди Это позволяет облегчить навигацию среди множества различных модулей для разных D множества различных модулей для разных D и DS. и DS.

С другой стороны, использование С другой стороны, использование фиксированного интерфейса позволяет фиксированного интерфейса позволяет повторно использовать и объединять повторно использовать и объединять отдельные модули в большие приложения. отдельные модули в большие приложения.

Особенности поиска Особенности поиска создаваемой системысоздаваемой системы

Гистограмма цветовГистограмма цветов поиск в базе однородных данныхпоиск в базе однородных данных

Краевая гистограммаКраевая гистограмма поиск по образцу или наброскупоиск по образцу или наброску

Форма, базирующаяся на контуреФорма, базирующаяся на контуре поиск, основанный на сходствепоиск, основанный на сходстве устойчиво при частичном перекрытии формыустойчиво при частичном перекрытии формы

Область примененияОбласть применения

Мультимедийные библиотекиМультимедийные библиотеки

ФотоальбомыФотоальбомы

Базы 3Базы 3DD-моделей для разработчиков -моделей для разработчиков компьютерных игр и дизайнеровкомпьютерных игр и дизайнеров