document images retrieval based on multiple features combination gaofeng meng et. al

Document Images Retrieval Based on Multiple Features Combination

Gaofeng Meng et. Al.

Dimas Gabriel , Roberto Pinheiro e Tiago Bockholt Projeto da disciplina de Recuperação Inteligente de Informação

17/11/2009

IEEE International Conference on Document Analysis and Recognition (ICDAR 2007)

Universidade Federal de PernambucoCentro de Informática

1

Sumário• Introdução

– Overview e Conceitos Chaves• Extração de Características

– Histograma da Projeção (PHF)– Crossings Number Histogram Features (CNHF)– Local Binary Pattern (LBP)– Density Distribution Feature (DDF)

• Algoritmos de Recuperação para sistemas DIR. • Algoritmo de Meng (Top N)• Experimentos• Análise dos Resultados• Conclusão• Referências

2

IntroduçãoOverview

• Com o progresso da automação nos escritórios e os avanças nas técnicas de processamento de imagens, as técnicas de recuperação de imagens de documentos estão sendo amplamente desenvolvidas nos últimos anos.

• O Objetivo da recuperação de imagens de documentos é buscar imagens idênticas ou similares em uma base dado uma imagem de documento como entrada para o sistema.

3

IntroduçãoOverview

4

• DIRS são sistemas que visam achar documentos relevantes ou similares de uma grande base de documentos digitalizados.

• É comum que documentos sejam convertidos para texto para uma fácil busca por palavras chaves. Entretanto, a busca utilizando OCR é uma técnica cara computacionalmente e totalmente dependente do idioma em que o documento foi escrito.

IntroduçãoConceitos chave

5

Histograma da ProjeçãoExtração das Características

6

• PHF - Histograma é normalizado Dividindo-se cada um dos Componentes do histogramapela soma total dos valores do mesmo.

• CNHF- O Crossings Number é o número de vezes que há variação entre entre fundo (background) e objeto (foreground).

Histograma da ProjeçãoExtração das Características

7

LBP - Matriz de pesos usada para calcular valor final a ser incrementado no histograma

DDF- Matriz na qual os componentes são as densidades relativas entre os pixels de foreground e background em cada região formada pelo particionamento simétrico do print-Core.

• Dada uma imagem de entrada, objetivo é recuperar as imagens mais similares à entrada;

• Abordagem comum: retornar vizinhos mais próximos;– Dificuldade em modelar um espaço onde duas imagens de

documentos próximas entre si são realmente similares em conteúdo.

• Possível solução: utilização de multiplas features para medir a similaridade de dois documentos;

Algoritmo de RecuperaçãoEstratégia de Busca

• Realiza combinação entre técnicas:– PHF– CNHF– LBP– DDF

• Composto de duas etapas:– 1: União de features para gerar a pool original;– 2: Ranquear todas as imagens da piscina de acordo

com o ranking da imagem em cada uma das features.

Algoritmo de Recuperação propostoEstratégia de Busca

Algoritmo de RecuperaçãokNN Cosseno

• Descobrir os k vizinho mais próximo de uma dada instância.

• Vantagem: Não possui processamento na fase de treinamento.

• Desvantagem: Armazenar todos os dados na memória,uma vez que o vetor de atributos que define cada padrão é necessário para o cálculo da distância.

),cos(),( yxyxd

Experimentos Arcabouço

• Base de Imagens: 160 imagens divididas em 4 categorias– Diferentes resoluções e tamanhos de imagens e com ruidos originais

resultantes do escaneamento.

• Categoria 1:– 40 imagens de documentos onde só existia texto impresso.

11

Experimentos Arcabouço

• Categoria 2:– 40 imagens de documentos com texto misturado com gráficos ou

figura.

12

Experimentos Arcabouço

• Categoria 3:– 40 imagens de documentos com texto, imagem e figuras.

13

Experimentos Arcabouço

• Categoria 4:– 40 imagens de documentos onde existiam imagens dominantes.

14

Experimentos Resultados – Algoritmo de Meng (TopN)

15

Experimentos Resultados – Algoritmo de Meng (TopN)

16

Experimentos Resultados – kNN Cosseno

17

Experimentos Resultados – kNN Cosseno

18

Análise dos Resultados Algoritmo de Meng (TopN)

19

Das Tabelas apresentadas anteriormente podemos notar que:

1. o CNHF apresentou taxas de acerto superiores quando os documentos analisados continham texto de forma predominante mas não se mostrou muito robusto para a ruídos do tipo sal e pimenta.

2. PHF é mais adequado para recuperar documentos com figuras embora seja mais sensível a ruídos , iluminação não uniforme causada pela distorção do documento.

3. LBP é mais útil quando as texturas nas imagens de documentos são bem definidas mas não é muito efetivo para diferenciar categorias de documentos.

4. DDF não obteve um comportamento satisfatório para documentos onde o texto predomina.

Análise dos Resultados kNN Cosseno

20

•Os testes realizados considerando a base como possuindo apenas 2 categorias apresentaram resultados melhores.

•98% média de Acertos.

•Este teste serve como comprovação para o fato de que a base de dados possui categorias muito semelhantes entre si e que quando adotando-se uma abstração da base, aumentando a distinção entre as categorias, os resultados tentem a melhorar tanto com o algoritmo proposto por Meng quando pelo algoritmo KNN utilizando medida de similaridade do cosseno.

Conclusão da Equipe

21

Conclusão 1: As duas novas características propostas são complementares e podem ser utilizadas em conjunto para um melhor resultado.

Conclusão 2: Pela combinação das características de uma maneira multidisciplinar os pontos fracos de uma característica são compensados por outras características e os pontos fortes de cada característica são reforçados .

Conclusão 3: O autor comenta que a estratégia de ranqueamento pode apresentar resultados ineficientes quando as características combinadas

são correlacionadas.

Referências Externas• [1] Cury, M. V. Q. (1999) Modelo Heurístico Neuro-Fuzzy

para Avaliação Humanísticas de Projetos de Transporte Urbano. Tese de Doutorado. UFRJ, Rio de Janeiro.

• [2] TAFNER, M. A.; XEREZ, M.; RODRIGUES FILHO, I. W. Redes Neurais Artificiais — Introdução e princípios de neurocomputação. EKO e FURB, Blumenau. 1995.

22