Busca em VídeoLéo Françoso Dal Piccol Sotto

Victor De Cia Costa

Sumário

● Busca de vídeo na Internet

● Busca usando metadados

● Recuperação de vídeo por conteúdo

Busca de Vídeo na Internet

Busca de Vídeo na Internet

Busca de Vídeo na Internet

● O conteúdo de vídeo é muito mais propenso a ser misturado

com os resultados da pesquisa do que qualquer outro tipo de

material, seguido de conteúdo da imagem.

● O estudo descobriu que 80% das integrações de vídeo veio do

YouTube, ao contrário de outros sites de vídeo.

● Dados referentes a 2012.

Top Video Search Engines and Video Search Sites

#1 #2

#3 #4 #5

Modalidades de Busca

● Metadados Internos: Título, descrição, duração, tamanho,

tags, qualidade de codificação

(geralmente codificados em XML)

● Metadados Externos: Texto presente na página

● A busca por metadados pode ocasionar o gap semântico

Modalidades de Busca

● Reconhecimento de fala: Aplicação de algoritmo de busca

fonética diretamente no áudio, ou conversão em texto e

posterior análise do texto.

● Indexação baseada no conteúdo de áudio

Modalidades de Busca

● O reconhecimento de

fala foi utilizado pelo

Gaudi (Google Audio

Indexing), desenvolvido

pelo Google Labs, em

2008.

● Utilizado atualmente

por Blinkx e Koemei.

Modalidades de Busca

● Reconhecimento de texto: O TalkMiner usa uma amostragem

de um frame por segundo, identifica um slide, e usa um

algoritmo de Optical Character Recognition (OCR) para

identificar palavras, que são indexadas em seu mecanismo de

busca.

Modalidades de Busca

Modalidades de Busca

Modalidades de Busca

● Análise de frames: Uso de descritores de imagens para gerar

vetores de características de frames.

● Podem ser usados descritores de cor, forma, textura, entre

outros.

● Não viável atualmente

Vídeos na Internet

● Avanços recentes na tecnologia têm permitido o aumento da

disponibilidade de dados de vídeo, criando grandes coleções de

vídeo digital.

● Isso tem despertado grande interesse em sistemas capazes de

gerenciar esses dados de forma eficiente.

● Desenvolvimento de sistemas capazes de abstrair representações

semânticas de alto nível a partir das informações de baixo nível dos

vídeos, conhecidos por sistemas de gestão de vídeos por conteúdo.

Busca por ConteúdoArquitetura típica de um sistema de gestão de vídeos por conteúdo.

Busca por Conteúdo

Segmentação Temporal

● O primeiro passo para

gerenciar a informação de

vídeo e estruturá-la em um

conjunto de unidades

compreensíveis e

gerenciáveis, de forma que o

seu conteúdo seja consistente

em termos de operações da

câmera e eventos visuais.

Busca por Conteúdo

Segmentação Temporal

● A contribuição publicada em [Almeida et al. 2011] introduz

uma nova abordagem para a segmentação temporal, que

opera diretamente no domínio comprimido.

● Baseia-se na exploração de características visuais extraídas do

fluxo de vídeo e em um algoritmo simples e rápido para

detectar mudanças temporais.

● Técnica adequada para tarefas online (algoritmo eficiente).

Busca por Conteúdo

Representação do Conteúdo

Visual

● Fazer uso eficiente da

informação de vídeo requer

que os dados sejam

armazenados de maneira

compacta. Para isso, um vídeo

deve ser associado a

características apropriadas, a

fim de permitir qualquer

recuperação futura.

Busca por Conteúdo

Representação do Conteúdo Visual

● A contribuição publicada em [Almeida et al. 2009] introduz

uma nova abordagem para estimar o movimento da câmera

em sequências de vídeo.

● Com base em um modelo de operações de câmera.

● Esse método gera o modelo de câmera usando combinações

lineares de protótipos de fluxo ótico produzidos por cada

operação de câmera.

Busca por Conteúdo

Medida de Similaridade

● Apos obter representações

compactas, é preciso ainda

definir uma medida de

similaridade para comparar

vídeos a partir de suas

assinaturas. Existem duas

questões importantes nessa

tarefa: robustez e

discriminância.

Busca por Conteúdo

Medida de Similaridade

● Robustez e a quantidade de inconsistência dos dados

tolerada pelo sistema antes da ocorrência de um falso

positivo.

● Discriminância é a capacidade do sistema de rejeitar dados

irrelevantes e reduzir os falsos positivos.

Busca por Conteúdo

Medida de Similaridade

● A contribuição publicada em [Almeida et al. 2011a] introduz uma

nova abordagem para a comparação de sequências de vídeo, que

atua diretamente no domínio comprimido.

● Baseia-se no reconhecimento de padrões de movimento extraídos

do fluxo de vídeo, que são acumulados para formar um histograma

normalizado.

● A melhora da eficiência computacional torna essa técnica adequada

a enormes coleções de vídeo.

Busca por ConteúdoIndexação de Dados

● Quando um usuário especifica

um padrão de consulta ao

sistema, a sua assinatura é

extraída e a medida de

similaridade e aplicada para

identificar todas as assinaturas

similares. Para garantir uma

resposta rápida, é necessário o

desenvolvimento de algoritmos

que acelerem esse processo.

Busca por ConteúdoIndexação de Dados

● A contribuição publicada em [Almeida et al. 2010b] avalia o

desempenho de uma nova estrutura de indexação, chamada de

BP-tree (Ball-and-Plane tree). É construída dividindo-se um

conjunto de objetos em grupos compactos.

● Ela combina vantagens de ambos os paradigmas disjuntos

(partições) e não disjuntos (agrupamentos) a fim de obter uma

estrutura de aglomerados densos e pouco sobrepostos,

melhorando a eficiência no processamento de consultas por

similaridade.

Busca por Conteúdo

Visualização dos

Resultados

● No final, os usuários são

apresentados com uma

lista de vídeos similares

a um dado padrão de

consulta especificado.

Busca por ConteúdoVisualização dos Resultados

● A contribuição publicada em [Almeida et al. 2010c, Almeida et al.

2012b, Almeida et al. 2012a] introduz VISON1 (Video Summarization

for Online applications), uma nova abordagem para resumir

sequências de vídeo, que atua diretamente no domínio comprimido.

● Baseia-se na exploração de características visuais extraídas do fluxo

de vídeo e em um algoritmo simples e rápido para resumir o seu

conteúdo.

● A melhoria da eficiência computacional torna essa técnica adequada

para tarefas online.

Sumarização de Vídeo● http://www.liv.ic.unicamp.br/~jurandy/vison/

Referências

1) Almeida, Jurandy, Neucimar J. Leite, and Ricardo da S. Torres. "Recuperação de Vídeos Comprimidos por Conteúdo."

2) http://marketingland.com/infographic-video-youtube-wins-google-universal-search-37971

3) http://www.reelseo.com/video-search-sites/

4) https://en.wikipedia.org/wiki/Video_search_engine

5) http://www.cnet.com/news/google-audio-search-graduates-to-labs-project/

6) Christopher Alberti, Michiel Bacchiani, Ari Bezman, Ciprian Chelba, Anastassia Drofa, Hank Liao, Pedro Moreno, Ted Power, Arnaud Sahuguet, Maria Shugrina, Olivier Siohan. AN AUDIO INDEXING SYSTEM FOR ELECTION VIDEO MATERIAL. Speech Research Group, Google Inc. 79 Ninth Ave, New York, NY

7) http://talkminer.com/