infovis tutorial

102
http://publicationslist.org/junio José Fernando Rodrigues Júnior Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação - 2012 - Análise Visual de Dados: conceitos, técnicas e sistemas

Upload: jose-f-rodrigues-jr

Post on 08-Jun-2015

146 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Infovis tutorial

http://publicationslist.org/junio

José Fernando Rodrigues Júnior

Universidade de São Paulo

Instituto de Ciências Matemáticas e de Computação

- 2012 -

Análise Visual de Dados: conceitos, técnicas e

sistemas

Page 2: Infovis tutorial

Roteiro

Introdução Alguns Conceitos Esquemas visuais mais usados Interação, Sistematização e Processamento Observações Conclusivas

Page 3: Infovis tutorial

Questões a serem respondidas

• O que é Visualização de Informações?• Por que seu uso?• Princípios• Técnicas mais usuais• Exemplos de sistematização• Estado da arte• Como obter mais informações sobre o assunto?

Page 4: Infovis tutorial

O que é?

• A prática de se beneficiar das capacidadescognitivas visuais para se expressar conhecimentode maneira mais rápida e intuitiva.

• Também denominada Infovis

• Exemplo: a invasão francesa da Rússia

Page 5: Infovis tutorial

O problema

Dados

Humano

Objetivo: discernimento

Transferência dedados

Page 6: Infovis tutorial

Evolução do Hardware• Dobro do processamento a cada 18 meses (Moore’s Law)• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos

Fatos

Crescimento da produção/fluxo de dados• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à

taxa de mais de 30 % ao ano

Page 7: Infovis tutorial

Evolução do Hardware• Dobro do processamento a cada 18 meses (Moore’s Law)• Dobro de tecnologia gráfica a cada 12 meses• Tendência observada já há 50 anos• Pelo menos mais 10 anos

Fatos

Crescimento da produção/fluxo de dados• Apenas em 2010, estimativa de 5 zetabytes (270 B)• O armazenamento de novas informações tem crescido à

taxa de mais de 30 % ao ano

“O propósito da computação é compreensão, e não números.”

Richard Hamming (Turing Award, 1968)

Page 8: Infovis tutorial

http://publicationslist.org/junio

• Em contraste, habilidades humanas básicas nãomudam ao longo do tempo

• Bancos de dados com uma quantidade dedados muito maior do que é possível para oser humano aproveitar

Não evolução do ser humano

Conseqüência

As técnicas de Visualização deInformações reduzem este problema.

Fatos

Page 9: Infovis tutorial

Exibição de dados –diferentes abordagens

• Computação gráfica: como renderizar?

• Visualização científica: como reproduzir graficamente?

• Visualização de informações: como definir um design que personifique meus dados?

Page 10: Infovis tutorial

Exibição de dados –diferentes abordagens

• Computação gráfica: como renderizar?

• Visualização científica: como reproduzir graficamente?

• Visualização de informações: como definir um design que personifique meus dados?

Tabela BalanceteTrimestre Faturamento

1 702 203 54 5

Page 11: Infovis tutorial

Ciência Analítica

• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão

• Artefatos de racionalização, hierárquicos:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,

relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por

exemplo), casualidade temporal, modelos de regressão (padrõesfuncionais), ...

– Complexos: hipóteses e cenários (explicações)

Page 12: Infovis tutorial

Ciência Analítica

Artefatos Elementares

Ex.: dados e suposições

PadrõesAnalíticos

Ex.: tendência,classificação,

relacionamento, agrupamentos,...

Artefatos deOrdem

Superior

Ex.: inferência lógica (se

então, se e somente se), modelos de regressão

HipótesesE

Cenários

(previsão, avaliação,

explicação)

Page 13: Infovis tutorial

Ciência Analítica

Artefatos Elementares

Ex.: dados e suposições

PadrõesAnalíticos

Ex.: tendência,classificação,

relacionamento, agrupamentos,...

Artefatos deOrdem

Superior

Ex.: inferência lógica (se

então, se e somente se), modelos de regressão

HipótesesE

Cenários

(previsão, avaliação,

explicação)

Principal abrangência da visualização

Page 14: Infovis tutorial

Ciência Analítica

Artefatos Elementares

Ex.: dados e suposições

PadrõesAnalíticos

Ex.: tendência,classificação,

relacionamento, agrupamentos,...

Artefatos deOrdem

Superior

Ex.: inferência lógica (se

então, se e somente se), modelos de regressão

HipótesesE

Cenários

(previsão, avaliação,

explicação)

Principal abrangência da visualização

Mineração de dados e raciocínio suportado por visualização

Page 15: Infovis tutorial

Ciência Analítica

Artefatos Elementares

Ex.: dados e suposições

PadrõesAnalíticos

Ex.: tendência,classificação,

relacionamento, agrupamentos,...

Artefatos deOrdem

Superior

Ex.: inferência lógica (se

então, se e somente se), modelos de regressão

HipótesesE

Cenários

(previsão, avaliação,

explicação)

Principal abrangência da visualização

Mineração de dados e raciocínio suportado por visualização

Profundo conhecimento de domínio

Page 16: Infovis tutorial

Ciência Analítica

• Objetivos:– Avaliar– Prever– Identificar alternativas– Suporte à decisão

• Artefatos de racionalização:– Elementares: dados individuais, suposições, evidências...– Padrões analíticos: correlação, tendência, classificação,

relacionamento, exceções, agrupamentos, estrutura, ...– Artefatos de ordem superior: inferência lógica (se então, por

exemplo), casualidade temporal, modelos de regressão (padrõesfuncionais), ...

– Complexos: hipóteses e cenários (explicações)

Outros recursos:

• Descartes R. 1637. Discourse on Method;

• Jones M. 1995. The Thinker’s Toolkit: 14 PowerfulTechniques for Problem Solving. Three Rivers Press;

• Heuer R. 1999. Psychology of Intelligence Analysis.U.S. Government Printing Office;

• Adams JL. 2001. Conceptual Blockbusting: A Guideto Better Ideas. Fourth edition, Perseus Publishing.

Page 17: Infovis tutorial

Roteiro

Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas

Page 18: Infovis tutorial

Princípio da Visualização

Dados

Humano

Transferência dedados

Page 19: Infovis tutorial

Princípio da Visualização

• Os olhos têm acesso privilegiado ao cérebro• Mais de 50 % do cérebro é dedicado à visão

Page 20: Infovis tutorial

Recursos – pré-atenção

• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo

– 2ª. Fase: varredura demorada e seqüencial

Quantos números “4” há na cena?

Page 21: Infovis tutorial

Recursos – pré-atenção

Cor

PB PD

PE

PA

PI

PJ

PL

PK

PCPB PD

PE

PA

PI

PJ

PL

PK

PC

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.

Estímulos pré-atentivos4 canais

Page 22: Infovis tutorial

Recursos – pré-atençãoEstímulos pré-atentivos

4 canais

Posição

PB PD

PE

PA

PI

PJ

PL

PK

PC

PA

PB

PD

PE

PC

PIPJ

PL

PK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.

Page 23: Infovis tutorial

Recursos – pré-atenção

Forma

PB PD

PE

PA

PI

PJ

PL

PK

PCPB PD

PI

PJ

PAPC

PL

PEPK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.

Estímulos pré-atentivos4 canais

Page 24: Infovis tutorial

Recursos – pré-atenção

Tempo(animação

cor, posição

e/ou forma) PE

PA

PI

PK

PE

PI

PL

DIR

ESQ

ESQ

PD

PA

DIR

ESQ

PB

PJ

PK

PC

ESQ

DIR

ESQ

DIR

IDEOL.PART.

Estímulos pré-atentivos4 canais

PE

PA

PI

PK

Page 25: Infovis tutorial

Recursos – pré-atençãoEstímulos pré-atentivos

Page 26: Infovis tutorial

Recursos – pré-atenção

• Posição: 1D, 2D e 3D;

• Forma: ponto, linha, área, volume, orientação,comprimento, colinearidade, tamanho,curvatura;

• Cor: matiz, saturação, brilho, textura;

• Tempo (animação): movimento e intermitência.

Estímulos pré-atentivos

Page 27: Infovis tutorial

Recursos – pré-atenção

• Posição: 1D, 2D e 3D;

• Forma: ponto, linha, área, volume, orientação,comprimento, colinearidade, tamanho,curvatura;

• Cor: matiz, saturação, brilho, textura;

• Tempo (animação): movimento e intermitência.

Mas o que isso tem a ver com computação?

Auxílio computacional:

• escalabilidade de dados (via SGBDs) ede processamento

• interação: redefinição em tempo real daapresentação de dados

• dimensão temporal

• algorítmico: combinação com mineraçãode dados

Estímulos pré-atentivos

Page 28: Infovis tutorial

Recursos – pré-atenção

• Mecanismo da visão, duas fases– 1ª. Fase: pré-atenção instantânea e em paralelo

– 2ª. Fase: varredura demorada e sequencial

Procedimento geral da visualização (VisualizationMantra):

Visão geral (1ª. fase)Zoom & filtragem (Interação)

Detalhes sob demanda (2ª. Fase)

Page 29: Infovis tutorial

http://publicationslist.org/junio

Recursos – pré-atenção

Qual o estado com maior nível salarial?

Qual a relação entre salário e educação?

Comportamentos incomuns (outliers)?

Page 30: Infovis tutorial

http://publicationslist.org/junio

Recursos – pré-atenção

Salário annual Per Capita (U$)

Nív

el e

duca

cion

al (%

com

cur

so s

uper

ior)

Page 31: Infovis tutorial

Recursos:pré-atenção percepção raciocíonio

Page 32: Infovis tutorial

Recursos:pré-atenção percepção raciocíonio

Pré-atenção:• Posição• Forma• Cor• Tempo

Percepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação

Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...

Observação Raciocínio

Page 33: Infovis tutorial

Recursos:pré-atenção percepção raciocíonio

Pré-atenção:• Posição• Forma• Cor• Tempo

Observação Raciocínio

Projeto/Sistematização

/UtilizaçãoPercepção(padrões visuais):• Correspondência• Diferenciação• Conectividade• Arranjo• Significado• Variação

Etapa natural com pouca

carga cognitiva

Conhecimento de domínio

Interpretação(padrões analíticos):• Correlação• Tendência• Classificação• Relacionamento• Sumarização• Exceções• Agrupamentos• Estrutura• Leitura, ...

Geração de conclusões

com base no domínio dos

dados

Page 34: Infovis tutorial

Recursos:pré-atenção percepção raciocíonio

Canal:

Posição ●Forma ●

Cor ●Tempo ●

Padrões visuais:

● Correspondência● Diferenciação● Conectividade● Arranjo● Significado● Variação

Page 35: Infovis tutorial

Recursos:pré-atenção percepção raciocíonio

Page 36: Infovis tutorial

Demonstração

Mundo: Renda X Emissão de CarbonoPROJEÇÃO ANIMADA

Dados de IDH

• Ano

• Nome do país

• Tamanho da população

• Grupo de renda

• Renda per capita (U$)

• Emissão de CO2 (ton/pessoa)

Software: Gapminder (spreadsheet do Google Docs)

Análise Geral

Percepções• Posição: correspondência, arranjo• Forma: correspondência, diferenciação, conectividade, significado• Cor: correspondência• Animação

Interpretações:• Correlação• Tendência• Classificação• Exceções• Agrupamentos• Estrutura• Leitura

Page 37: Infovis tutorial

Demonstração

Mundo: Fertilidade X PopulaçãoPROJEÇÃO ANIMADA

Dados de IDH

• Ano

• Nome do país

• Filhos por mulher

• Tamanho da População

• Renda per capita

• Grupo de renda

Software: Gapminder

(spreadsheet do Google Docs)

Page 38: Infovis tutorial

http://publicationslist.org/junio

1. Mais Recursos– Processamento perceptivo paralelo– Percepção ao invés de cognição– Expansão das memórias de curto e longo prazo do usuário

2. Busca Reduzida– Informações agrupadas reduzem a varredura sequencial– Leitura espacial instantânea

3. Melhor Reconhecimento de Padrões– Reconhecer ao invés de relembrar– Abstração e agregação– Exposição estrutural– Valor, relacionamento, tendência

Como a visualização pode ajudar?

Page 39: Infovis tutorial

http://publicationslist.org/junio

Como a visualização pode ajudar?

4. Inferência Perceptiva– Alguns problemas se tornam óbvios– O raciocínio é amplificado com pistas visuais

5. Monitoramento Perceptivo– Alterações visuais saltam aos olhos

6. Mídia Manipulável– Interação

Page 40: Infovis tutorial

Demonstração

Mundo: Distribuição de renda

Page 41: Infovis tutorial

DemonstraçãoMundo: Distribuição de renda

Page 42: Infovis tutorial

Linhas Gerais de Aplicação

Tarefas

Exploração analítica Descobrir hipótese

Apresentação confirmatória Verificar hipótese

Suporte à decisão Avaliar, prever, identificaralternativas

Apresentação simples Apresentar o que você jásabe

Page 43: Infovis tutorial

Linhas Gerais de Aplicação

Tipos de dados

Multi-dimensional (tabular) Bancos de dados relacionais

Redes e árvores (grafos) Redes sociais, redes derecomendação, redes decomputadores, localizaçãogeográfica

Textos e documentos Repositórios de texto (artigos,notícias, wikis)

Espacial-temporal(1D, 2D, 3D e 4D)

Simulação e reprodução defenômenos científicos

Page 44: Infovis tutorial

http://publicationslist.org/junio

Projeto e desenvolvimento

Page 45: Infovis tutorial

http://publicationslist.org/junio

Sistematização

Dados “crus”

Dados estruturados

DesignVisual

Visualização

Transformações do Dados

Mapeamento Visual

TransformaçõesVisuais

Dados Formato Visual

ProcessamentoPré-visualização

Técnicasde

Visualização

Técnicasde Interação

Visual

Sistema de Visualização

Page 46: Infovis tutorial

Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas

Roteiro

Page 47: Infovis tutorial

Esquemas visuais mais usados

• Projeções geométricas

• Técnicas iconográficas

• Técnicas hierárquicas

• Técnicas orientadas a pixels

Classificação que segue à organização visual

Page 48: Infovis tutorial

Projeção geométricaCoordenadas Paralelas

X0

X0: 5

X1

X1: 1

X2

X2: 10 X3

X3: 7

Atributo 0 Atributo 1 Atributo 2 Atributo 3

10

0

Page 49: Infovis tutorial

Projeção geométricaCoordenadas Paralelas

COORDENADAS PARALELAS

Dados de veículos

• Milhas Por Galão

• # Cilindros (CYLINDERS)

• Autonomia (DISPLACEMENT)

• Potência (HORSEPOWER)

• Peso (WEIGHT)

• Aceleração (ACCELERATION)

• Ano (YEAR)

• Origem (AMER., EUROP., JAP.)

Software: VisTree

Análise Geral

Percepções• Posição: correspondência, arranjo• Forma: conectividade• Cor: diferenciação

Interpretações:• Correlação• Tendência• Sumarização• Classificação• Exceções

Base de Dados

Page 50: Infovis tutorial

• Matriz de Scatter Plots– Projeção dos atributos combinados– Correlação

Projeção geométricaMatriz de Scatter PlotsMATRIZ DE SCATTER PLOTS

Dados de veículos

• Milhas Por Galão

• # Cilindros (CYLINDERS)

• Autonomia (DISPLACEMENT)

• Potência (HORSEPOWER)

• Peso (WEIGHT)

• Aceleração (ACCELERATION)

• Ano (YEAR)

• Origem (AMER., EUROP., JAP.)

Software: VisTree

Análise Geral

Percepções• Posição: correspondência, arranjo

Interpretações:• Correlação• Tendência• Exceções

Page 51: Infovis tutorial

http://publicationslist.org/junio

Projeção geométricaTable Lens

TABLE LENS

Dados de filmes

• Rank de arrecadação (RANK)

• Lançamento (RELEASE DATE)

• Arrecadação (CUMULATIVE GROSS)

• Distribuidora (DISTRIBUTOR)

• Título (TITLE)

Software: Table Lens

Análise Geral

Percepções• Posição: correspondência, arranjo• Forma: correspondência, significado• Cor: diferenciação

Interpretações:• Correlação• Tendência• Classificação• Exceções• Leitura

Page 52: Infovis tutorial

http://publicationslist.org/junio

•Peso: 5

•Peso: 10•MPG: 1•Potência: 5

•Aceleração: 2

Técnicas IconográficasStar Glyphs

Page 53: Infovis tutorial

http://publicationslist.org/junio

# D

E C

ILIN

DR

OS

MILHAS POR GALÃO (MPG)

Técnicas HierárquicasSobreposição Dimensional

POTÊNCIA

# D

E C

ILIN

DR

OS

MPG

PESO

Page 54: Infovis tutorial

http://publicationslist.org/junio

Técnicas HierárquicasTreemaps

Page 55: Infovis tutorial

http://publicationslist.org/junio

Técnicas Orientadas a PixelsPadrões de Arranjo

• Design• Arranjo dos pixels: apresentação depende da ordem• Mapeamento de cores por valor de atributo

Page 56: Infovis tutorial

http://publicationslist.org/junio

Técnicas Orientadas a PixelsPadrões de Arranjo

• Design• Arranjo dos pixels: apresentação depende da

ordem• Mapeamento de Cores por valor de atributo

• Um atributo (dimensão) por janela

Page 57: Infovis tutorial

Técnicas Orientadas a PixelsMatriz de correlações

Page 58: Infovis tutorial

Técnicas Orientadas a PixelsMatriz de correlações

Page 59: Infovis tutorial

Esquemas visuais mais usados

• Projeções geométricas

• Técnicas iconográficas

• Técnicas hierárquicas

• Técnicas orientadas a pixels

Page 60: Infovis tutorial

Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas

Roteiro

Page 61: Infovis tutorial

http://publicationslist.org/junio

Interação e Sistematização

• Interação: alteração dos parâmetros de posição, de forma e decor

• Principais:– Filtragem interativa: alteração de cor (brushing) e de forma

(contorno de seleção)– Transformação Espacial/Zoom: alteração de forma (escala) e

de posição (rotação e translação)– Distorção: alteração de posição (diferentes perspectivas)

• Sistematização com expansão do espaço de exibição:– Visões interligadas (linked-views)– Múltiplos espaços de visualização– Visualização em multi-resolução

O analista pode “sentir” melhor a cena de análise, aumentando as possibilidades

de interpretação visual.

Page 62: Infovis tutorial

Análise Geral

Percepções• Posição: correspondência, arranjo• Forma: conectividade• Cor: diferenciação

Interpretações:• Correlação• Tendência• Sumarização• Classificação• Exceções

INTERAÇÃO VIA FILTRAGEM INTERATIVA E LINK & BRUSH

SISTEMATIZAÇÃO POR VISÕES INTERLIGADAS (linked-views)

Dados de veículos

• Milhas Por Galão

• # Cilindros (CYLINDERS)

• Autonomia (DISPLACEMENT)

• Potência (HORSEPOWER)

• Peso (WEIGHT)

• Aceleração (ACCELERATION)

• Ano (YEAR)

• Origem (AMER., EUROP., JAP.)

Software: VisTree

Page 63: Infovis tutorial

Ciência Analítica Visual

INTERAÇÃO VIA

TRANSFORMAÇÃO ESPACIAL

Dados de cidades

• Nome (CIDADE)

• Estado (UF)

• Latitude

• Longitude

Software: FastMapDB

Análise Geral

Percepções• Posição: correspondência, significado• Cor: correspondência

Interpretações:• Classificação• Estrutura• Agrupamentos• Leitura

Page 64: Infovis tutorial

Ciência Analítica Visual

INTERAÇÃO VIA DISTORÇÃO

Dados de filmes

• Ano de produção

• Distribuidora (DISTRIBUTOR)

• Título (TITLE)

• Gênero

Software: TimeWall

Análise Geral

Percepções• Posição: correspondência• Forma: diferenciação, significado• Cor: correspondência

Interpretações:• Tendência• Classificação• Exceções• Agrupamentos• Leitura

Page 65: Infovis tutorial

Interação - Distorção espacialStarTree

Page 66: Infovis tutorial
Page 67: Infovis tutorial

http://publicationslist.org/junio

Processamento: pré-processamento e

suporte estatístico

• Redução de dimensionalidade:n-dimensional k-dimensional, onde n < k

• Agregação: por exemplo, sumarização estatística

• Seleção: por exemplo, amostragem

• Segmentação: por exemplo, particionamentohierárquico

Page 68: Infovis tutorial

REDUÇÃO DE DIMENSIONALIDADE

E INTERAÇÃO POR TRANSFORMAÇÃO ESPACIAL

Dados de exames de câncer (biopsia)

• Identificador (ID)

• 9 exames laboratoriais

• Classificador (CLASS)

Software: FastMapDB

Análise Geral

Percepções• Posição: correspondência, arranjo• Cor: correspondência

Interpretações:• Classificação• Estrutura• Exceções• Agrupamentos

Page 69: Infovis tutorial

Ciência Analítica Visual

AGREGAÇÃO ESTATÍSTICA

Dados de veículos

•Dados de veículos

• Milhas Por Galão

• # Cilindros (CYLINDERS)

• Autonomia (DISPLACEMENT)

• Potência (HORSEPOWER)

• Peso (WEIGHT)

• Aceleração (ACCELERATION)

• Ano (YEAR)

• Origem (AMER., EUROP., JAP.)

Software: VisTree

Análise Geral

Percepções• Posição: correspondência, diferenciação, arranjo• Forma: correspondência, diferenciação, conectividade• Cor: correspondência, diferenciação

Interpretações:

• Sumarização

• Correlação

• Relacionamento

• Tendência• Classificação• Exceções• Agrupamentos

Page 70: Infovis tutorial

Ciência Analítica Visual

AutoresAutor AutorIdAutor1 1Autor2 2Autor3 3Autor4 4Autor5 5

AutoriaArtigoId AutorId

A 1A 2B 1B 4C 2C 5D 3D 4

ArtigosArtigo ArtigoIdArtigo1 AArtigo2 BArtigo3 C

Page 71: Infovis tutorial

Ciência Analítica Visual

AutoresAutor AutorIdAutor1 1Autor2 2Autor3 3Autor4 4Autor5 5

AutoriaArtigoId AutorId

A 1A 2B 1B 4C 2C 5D 3D 4

ArtigosArtigo ArtigoIdArtigo1 AArtigo2 BArtigo3 C

Page 72: Infovis tutorial

Ciência Analítica Visual

SISTEMATIZAÇÃO POR MULTI-RESOLUÇÃO COM

SEGMENTAÇÃO HIERÁRQUICA

Dados de comunicação eletrônica

• Companhias

• Departamentos

• Pessoas

Software: GMine

Análise Geral

Percepções• Posição: arranjo• Forma: conectividade, diferenciação• Cor: diferenciação

Interpretações:

• Relacionamento

• Tendência• Classificação• Exceções• Estrutura• Agrupamentos

Page 73: Infovis tutorial

BoxPlot – Visão geral da distribuição de variáveis

Page 74: Infovis tutorial

BoxPlot – Visão geral da distribuição de variáveis

Page 75: Infovis tutorial

Introdução Alguns Conceitos Esquemas Visuais mais Usados Interação, Sistematização e Processamento Observações Conclusivas

Roteiro

Page 76: Infovis tutorial

Comparação com Mineração de Dados

• Extração não trivial de informaçõesimplícitas, potencialmente úteis epreviamente desconhecidas

• Caracteristicamente algorítmica

Page 77: Infovis tutorial

Visualização de Informações+

Algoritmos de Mineração de Dados

Algoritmos deMineração de Dados

Visualização de

InformaçõesObjetivo + –

Mensurável + –Flexível – +

Interativo – +

Comparação com Mineração de Dados

Page 78: Infovis tutorial

Visualização de Informações+

Algoritmos de Mineração de Dados

Algoritmos deMineração de Dados

Visualização de

InformaçõesObjetivo + –

Mensurável + –Flexível – +

Interativo – +

Mineração Visual de Dados: utilização de Visualização de Informações para monitorar, guiar ou se beneficiar de algoritmos de Mineração de Dados.

Comparação com Mineração de Dados

Page 79: Infovis tutorial

Exemplo: monitoramento visual do algoritmo k-medoid para detecção de clusters.

Mineração de Dados

Page 80: Infovis tutorial

Algoritmo k-medoid:1. Selecione os elementos que serão os centros dos

agrupamentos

2. Verifique todos os pontos do conjunto e atribua a cada pontoo agrupamento referente ao centro mais próximo

3. Recalcule os centros dos agrupamentos de acordo com osagrupamentos definidos

4. Enquanto os centros trocarem de posição, vá para o passo 2

Minimizar

Page 81: Infovis tutorial
Page 82: Infovis tutorial

Estado da Arte

A Ciência Analítica Visual [2]

Page 83: Infovis tutorial

Estado da Arte

A Ciência Analítica Visual [2]

Tecnologias de dados:

● armazenamento

● disponibilização

● gerenciamento.

Formatos de dadosversáteis, orientados àanálise.

Procedimentossistemáticos deanálise:

● avaliação

● planejamento

● tomada de decisão.

Design de técnicas de visualização e interação.

Disponibilizaçãoe difusão.

Page 84: Infovis tutorial

Estado da Arte

A Ciência Analítica Visual [2]

Tecnologias de dados:

● armazenamento

● disponibilização

● gerenciamento.

Formatos de dadosversáteis, orientados àanálise.

Procedimentossistemáticos deanálise:

● avaliação

● planejamento

● tomada de decisão.

Design de técnicas de visualização e interação.

Disponibilizaçãoe difusão.

Formalização do fato de que aciência de InfoVis engloba umasérie de disciplinas, todas inter-relacionadas.

Page 85: Infovis tutorial

Avaliação de técnicas de análise visual de dados

• Tema amplo

• Critérios:– Funcionalidade – as funcionalidades esperadas são oferecidas?

– Efetividade – a técnica agrega valor? Novas descobertas nos dados?

– Eficiência – a técnica promove melhor desempenho?

– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?

– Utilidade – é possível se beneficiar da técnica?

• Metodologias:– Avaliação analítica: baseada em modelos e em testes estruturados;

– Avaliação empírica: quantitativa ou qualitativa

Page 86: Infovis tutorial

Avaliação de técnicas de análise visual de dados

• Tema amplo

• Critérios:– Funcionalidade – as funcionalidades esperadas são oferecidas?

– Efetividade – a técnica agrega valor? Novas descobertas nos dados?

– Eficiência – a técnica promove melhor desempenho?

– Usabilidade – qual é a dificuldade em se usar o sistema? Há clareza?

– Utilidade – é possível se beneficiar da técnica?

• Metodologias:– Avaliação analítica: baseada em modelos e em testes estruturados;

– Avaliação empírica: quantitativa ou qualitativa

• Há subjetividade semelhante ao que se observa em HCI(Human-Computer Interaction);

• Devido ao contexto analítico, nem sempre as técnicas de HCIpodem ser aplicadas sem adaptação;

• Da mesma forma, há metodologias bastante satisfatórias,mas com alto custo de aplicação.

Page 87: Infovis tutorial

Avaliação de técnicas de análise visual de dados

• DECIDE1: um arcabouço para avaliação de sistemas1. Determine os objetivos: o quê se quer avaliar?

2. Enumere questões relevantes sobre os objetivos;

3. Escolha a metodologia de avaliação: slide anterior;

4. Identifique os fatores práticos: usuários, equipamento, dados, ...

5. Gerencie as questões éticas;

6. Avalie, interprete e apresente os resultados.

1 J. Preece, Y. Rogers, and H. Sharp, Interaction Design. John Wiley & Sons, Inc., 2002

Page 88: Infovis tutorial

http://publicationslist.org/junio

Disseminação

• SAP: incorporou (da Inxight) as técnicas StarTree, TableLense TimeWall em seus produtos

• TIBCO (Spotfire): comercializa técnicas como CoordenadasParalelas, Scatter Plots e TreeMaps

• Advanced Visual Systems (AVS): abrange soluções para aindústria e para a academia

• Outras empresas: Advizor Solutions, Compudigm, Dimension5, Infommersion, Macrofocus, Purple Insight, ...

• Listagem completa: http://kisd.de/~marian/infovis/

Page 89: Infovis tutorial

Linhas de Desenvolvimento

1. Paradigmas de Interação

Orientados ao usuário E.g.: perspective view

Orientados a sistema E.g.: linked views

2. Suporte da Ciência da Computação

Componentes E.g.: Graph-Tree

Aperfeiçoamentos E.g.: Keim’s color space

Page 90: Infovis tutorial

Linhas de Desenvolvimento

3. Novos Designs

E.g.: GapminderE.g.: Table Lens4. Suporte Teórico

Espaços de Design E.g.: design orientado à percepção

Estudo do sistema perceptivo

E.g.: princípios de manipulação direta

5. Suporte de Desenvolvimento

Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/

Page 91: Infovis tutorial

3. Novos Designs

E.g.: GapminderE.g.: Table Lens4. Suporte Teórico

Espaços de Design E.g.: design orientado à percepção

Estudo do sistema perceptivo

E.g.: princípios de manipulação direta

5. Suporte de Desenvolvimento

Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/

Linhas de Desenvolvimento

Page 92: Infovis tutorial

3. Novos Designs

E.g.: GapminderE.g.: Table Lens4. Suporte Teórico

Espaços de Design E.g.: design orientado à percepção

Estudo do sistema perceptivo

E.g.: princípios de manipulação direta

5. Suporte de Desenvolvimento

Componentes E.g.: OpenGLToolkits E.g.: IVTK http://ivtk.sourceforge.net/

Linhas de Desenvolvimento

Ainda há muito o que se fazer em:

visualização de dados relacionais

escalabilidade de dados

uso combinado com mineração de dados

visualização 3D interativa

utilização da dimensão temporal (animação)

Page 93: Infovis tutorial

Discussão

• A visualização pode resolver todos os meus problemasde análise de dados?

R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivosclaros e trabalho intenso.

• Posso trabalhar sem visualização, então?

R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substitutopara estes benefícios.

Page 94: Infovis tutorial

Discussão

• A visualização pode resolver todos os meus problemasde análise de dados?

R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivos clarose trabalho intenso.

• Posso trabalhar sem visualização, então?

R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substitutopara estes benefícios.

Page 95: Infovis tutorial

Discussão

• A visualização pode resolver todos os meus problemasde análise de dados?

R.: Não. Análise de dados é um processo elaborado querequer profundo conhecimento de domínio, objetivos clarose trabalho intenso.

• Posso trabalhar sem visualização, então?

R.: Não. Apesar de seus limites, a visualização provêbenefícios bastante favoráveis, e não há substituto paratais benefícios.

Page 96: Infovis tutorial

Livros BásicosVisualização de

Informações

Robert SPENCE. “Information Visualization”, ACMPress, 2001

Stuart K. Card, Jock D. MacKinlay, BenShneiderman, Mackinlay Card (eds.). “Readingsin Information Visualization: Using Vision toThink”, Morgan Kaufmann Series in InteractiveTechnologies, Academic Press, 1999. ISBN 1-55860-533-9

Colin WARE. “Information Visualization:Perception for Design”, Morgan KaufmannInteractive Technologies Series, January 2000.ISBN 1-55860-511-8

Page 97: Infovis tutorial

K. Cios et. al. - “Data Mining: A KnowledgeDiscovery Approach”, Springer, 2007

Jiawei Han, Micheline Kamber. “Data Mining:Concepts and Techniques”, Morgan Kaufmann,2006

Pang-Ning Tan, Michael Steinbach, Vipin Kumar.“Introduction to Data Mining”, AddisonWesley, 2005

Livros BásicosMineração de Dados

Page 98: Infovis tutorial

Fontes de InfoVis

• http://www.wikivis.org/

• Revistas– IEEE “Transactions on Visualization and Computer

Graphics”– Palgrave “Information Visualization”

• Conferências– IEEE Symposium on Information Visualization (InfoVis)– IEEE Conference on Visualization (Vis)– Joint Eurographics IEEE TVCG Symposium on

Visualization (EuroVis)– International Conference on Visualisation (IV)– International Symposium on Smart Graphics (SG)

Page 99: Infovis tutorial

Profissionais em InfoVis

• Em ordem alfabética:– Agma Traina – ICMC-USP– Carla M. D. S. Freitas - UFRGS– Fernando Paulovich – ICMC-USP– Luciana P. Nedel - UFRGS– Maria Cristina F. de Oliveira – ICMC-USP– Rosane Minghin – ICMC-USP

Page 100: Infovis tutorial

Outras áreas de visualização

• Visualização Científica• Visualização de Software• Visualização Geográfica• Visualização de Redes• Ciência Analítica• Realidade Virtual• Realidade Aumentada• Sonificação (som)• Háptica (tato)

Page 101: Infovis tutorial

Prof. Dr.José Fernando Rodrigues Júniorhttp://www.icmc.usp.br/~junio

[email protected]

Principais áreas (maioria das publicações):- Análise Visual de Dados- Recuperação de dados baseada em

conteúdoÁreas Secundárias (já publicado):- Mineração de grafos- Estruturas de dados para indexação- Processamento de imagens- E-learning Fim.

Análise Visual de Dados: conceitos, técnicas e

sistemas

Page 102: Infovis tutorial

Referências

• [1] “How Much Information?”Lyman P and HR Varian, 2003. Disponível em

http://www.sims.berkeley.edu/how-much-info.

• [2] “Illuminating the Path: The Research andDevelopment Agenda for Visual Analytics”James J. Thomas and Kristin A. Cook, editors.IEEE Press, 2005. Disponível em

http://nvac.pnl.gov/agenda.stm.