Banco de Dados Multimídia

Prof. Cláudio de Souza BaptistaUFCG/COPINSetembro-Outubro 2007

Introdução• Sistemas MM devem armazenar, recuperar, transportar, e apresentar dados com características heterogêneas tais como textos, imagens, gráficos, sons e videos.

sistemas complexos

• muitos sistemas gerenciam objetos MM restritos a um domínio de aplicação (Médico, GIS, CAD)

necessitamos um sistema que permita acesso uniforme aos objetos MM de forma transparente.

Introdução

• A área de MM é multidisciplinar envolvendo:- sistemas operacionais- sistemas tempo-real- redes- interface com usuário- inteligência artificial- recuperação de informação- processamento de imagens- computação gráfica- BANCO DE DADOS

1. Introdução

• MMDBMS trata imagens, vídeos, áudios, textos, gráficos e dados alfa-numéricos igualmente do ponto de vista de processamento de consulta. Cada tipo pode participar numa query ou pode ser parte do resultado.

•Aplicações: Medical DB, GIS, Digital Libraries, DNA DB, Image DB, DB científico (geologia, meio ambiente, astrofísica, metereologia, etc )

1. Introdução• MMDBMS = DBMS + suporte à multimídia

Gerente de apresentação

Gerente de consulta MM

Imagem Vídeo Áudio Texto Gráficos

UsuárioResultados

2. Características2.1. Tipos de dados MM

Texto: documentos estruturados, semi-estruturados e não estruturados. Ex.: ASCII, HTML, XML, SGML

Gráficos: desenhos. Ex.: CAD e GIS

Imagens: desenhos, pinturas, fotos, impressões

Video: propriedades de audio + video, composto de frames de video.Ex.: regular apresentação de vídeo requer 30 frames/sec.Qualidade NTSC (512x480, 8bpp) => 1.92 Mb/framequalidade HDTV (1024x2000, 24 bpp) => 48 Mb/frameAudio: fala, música, sons

2. Características2.2 Aspectos Temporais

Incorporação de conceitos temporais no modelo de dados• scheduling e sincronização• apresentacao: sequencial

paralelaintrodução da linha de tempo

filmemúsica

falatexto1 texto2

tempo

Tipos de MídiaVídeo e áudio têm requisitos

Espaciais (vídeo) Temporais

Vídeo e áudio possuem dados contínuosVídeo e áudio têm operações especiais:

fast-forward() e rewind() play() pause() e stop()

O que é um MMDBMS?“Um SGBD multimídia é um

framework que gerencia diferentes tipos de dados potencialmente representados em diferentes formatos e em diferentes fontes de mídia” Subrahmanian [2000]

Um SGBDMM deve:Prover API única para consulta às

diferentes mídias

Recuperar dados MM de forma contínua

Prover uma maneira transparente para o usuário da representação dos dados

Tipos de Recuperação (Gudivada 96)Recuperação por BrowsingRecuperação por Atributos de ObjetosRecuperação por Restrições EspaciaisRecuperação por Similaridade de FormaRecuperação por Similaridade

Semântica

Exemplo de Aplicação MMConsidere uma investigação de polícia

sobre drogas com as seguintes características: Vídeo: dados recuperado por câmeras

espalhadas em diversos locais Áudio: dados capturados de “grampo

telefônico” Imagens: fotografias tiradas por

investigadores

Exemplo de Applicação MM (cont.)

Documentos: relatórios escritos por policiais durante as invesigações

Dados relacionais estruturados de SGBD existentes (dados bancários, telefônicos, comércio, empresas, histórico policial)

dados de GIS (locais onde existem drogas, plantações, rotas de tráfego, etc.)

Consultas exemplo de ImagensQuery 1: Um policial tem a foto de

um suspeito e consulta o SGBDMM por imagens similares

Query 2: “Recupere todas as fotos em que João Pires aparece”

Consultas exemplo de ImagensNas consultas anteriores precisamos de

uma função que compute a similaridade entre imagens.

Como a consulta é inexata, um ranking de imagens parecidas deve ser formado

Na Query2 realizou-se a consulta usando-se atributos (metadata) da imagem

Consultas exemplo de ÁudioUm policial está ouvindo uma fita de

gravação de um conversa telefônica entre suspeitos João Silva e X.

Query 3: Encontre a identidade de X.Query 4: Mostre as fitas que têm

participação de João Silva

Consultas exemplo de Texto/VídeoTexto:

Busca em jornais, revistas, relatórios, ou um outro documento.

Text mining em bancos Processos judiciários “Busca por uma certa palavra chave”

Video: encontre todos os vídeos onde a vítima aparece.

Questões de Pesquisa em MMLinguagem de consultaConteúdo de um dado MMApresentação MMArmazenamento

Linguagem de ConsultaLinguagem para acesso aos

diferentes tipos de dadosOperações para combinar duas ou

mais mídias (diferença, união, junção)

Acesso a Dados e MetadadosPlanos de consulta Otimizados

Conteúdo de um dado MMComo extrair conteúdo de:

imagem vídeo-clip áudio-clip texto (documento não estruturado)

Como indexar estes conteúdosComo computar similaridade?

ApresentaçãoComo especificar o conteúdo de uma

apresentação MM?Como especificar os requisitos de

espaço e tempo?Como garantir QoS?

ArmazenamentoComo dados MM podem ser

representados nos dispositivos (CD-ROM, Disco, Fita, DVD, etc.)?

Como otimizar o armazenamento para que operações como: play, fast forward, rewind, pause, possam ser executadas de forma eficiente

Produtos Multimídia no MercadoDesenvolvimento:

Macromedia Director Click2Learn Toolbook Java Media Framework (JMF)

Animação Web: Macromedia Flash Adobe LiveMotion Corel Rave

Produtos Multimídia no Mercado

Web designMacromedia DreamWeaverAdobe GoLiveMicrosoft FrontPageNetObjects Fusion

StreamingReal realplayer, realserverApple QuicktimeMicrosoft MediaPlayer, MediaServer

Produtos Multimídia no Mercado

SGBD OROracle 9i

• InterMedia Audio, Video, Image Cartridge• Oracle Context

IBM DB2• DB2 Image Extender• DB2 Video Extender

Informix• Excalibur Image Datablade Module• Informix Video Foundation Datablade• Excalibur Text Datablade