X[ \X[\Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia • COPPE

Programa de Pós-Graduação em Engenharia deSistemas e Computação

Método de Recolorização Baseado emAgrupamentos Harmônicos

[ X \

Michel Alves dos Santos

Atualmente existe uma enormidade de ferramentas para tratamento de imagens digitais. Tais fer-ramentas, sejam elas famosas ou modestas, possuem uma miríade de técnicas de melhoramento sur-preendentes, capazes de remover as degradações mais destrutivas ou ampliar as características maisimperceptíveis. Porém, a quase totalidade dessas ferramentas peca em um quesito: não possuem ummódulo para harmonização automática de cores que permita em segunda instância uma certa interaçãocom o usuário final. Esse tipo de lacuna ocorre devido a complexidade de construção de modelos queconsigam expressar a harmonia entre cores como uma relação matemática fechada ou aproximada. Nopresente relatório intitulado “Método de Recolorização Baseado em Agrupamentos Harmônicos”, ire-mos apresentar uma técnica desenvolvida por Daniel Cohen-Or (Color Harmonization, Cohen-Or et al.,2006) para harmonização de cores em imagens digitais que possui como base os gabaritos ou agrupa-mentos harmônicos desenvolvidos nos trabalhos de Masataka Tokumaru (Color Design Support SystemConsidering Color Harmony, 2002) e Yutaka Matsuda (Matsuda’s Color Coordination, 1995).

Laboratório de Computação Gráficawww.cos.ufrj.br • www.lcg.ufrj.br

\[

X \ [XJunho de 2013

Método de Recolorização Baseadoem Agrupamentos Harmônicos

Atualmente existe uma enormidade de ferramentas para tratamento deimagens digitais. Tais ferramentas, sejam elas famosas ou modestas, pos-suem uma miríade de técnicas de melhoramento surpreendentes, capazesde remover as degradações mais destrutivas ou ampliar as característicasmais imperceptíveis. Porém, a quase totalidade dessas ferramentas pecaem um quesito: não possuem um módulo para harmonização automáticade cores que permita em segunda instância uma certa interação com ousuário final. Esse tipo de lacuna ocorre devido a complexidade de cons-trução de modelos que consigam expressar a harmonia entre cores comouma relação matemática fechada ou aproximada. No presente relatóriointitulado ‘Método de Recolorização Baseado em Agrupamentos Harmô-nicos’, iremos apresentar uma técnica desenvolvida por Daniel Cohen-Or(Color Harmonization, Cohen-Or et al., 2006) para harmonização de coresem imagens digitais que possui como base os gabaritos ou agrupamentosharmônicos desenvolvidos nos trabalhos de Masataka Tokumaru (ColorDesign Support System Considering Color Harmony, 2002) e Yutaka Mat-suda (Matsuda’s Color Coordination, 1995).

Rio de Janeiro, 2013 :: Michel Alves dos Santos

Docente Ricardo Guerra MarroquimUniversidade Federal do Rio de Janeiro/COPPE/PESC/LCG

marroquim@cos.ufrj.br

Discente Michel Alves dos SantosUniversidade Federal do Rio de Janeiro/COPPE/PESC/LCG

malves@cos.ufrj.br

Método de Recolorização Baseado em AgrupamentosHarmônicos

Michel Alves dos Santos ∗

Junho, 2013

Resumo

Recorte da pintura O Nascimento de Venus, de Sandro Botticelli. Da esquerda para direita te-mos: recorte original sem nenhum deslocamento em sua componente de matiz, recorte obtidocom deslocamento de 30 ◦ e recorte obtido com deslocamento de 330 ◦. Devido ao caráterpré-harmonizado do conjunto de cores contido neste exemplo, podemos observar que o mesmogera derivações de agradável sensação perceptual sem a necessidade do emprego de demasia-das etapas de otimização em seu histograma de matiz. Abaixo dos recortes podemos observara disposição de seus respectivos histogramas de matiz apresentados em um modelo circu-lar. O deslocamento contínuo dos valores de matiz da imagem é realizado utilizando-se aseguinte relação: Hnew(p) = Hold(p) + α, onde Hnew(p) designa o novo valor da matiz do pixel,Hold(p), denota o velho valor de matiz e α um parâmetro de deslocamento contido no intervalo[0 ◦, 360 ◦). Ao longo deste relatório discutiremos uma técnica que organiza valores de matizem conjuntos correlatos, fazendo com que os mesmos exibam um certo “equilíbrio”. A essesconjuntos equilibrados daremos o nome de gabaritos ou agrupamentos harmônicos.

Visão é um dos mais poderosos e complexos sentidos que permite aos seres vivos, dotados deórgãos adequados, aprimorarem a sua percepção do mundo. A indiscutível complexidade dessemodo de percepção é um dos principais motivos pelos quais pesquisadores em visão não têm

∗Discente do Programa de Pós-Graduação em Engenharia de Sistemas e Computação (COPPE/PESC), Univer-sidade Federal do Rio de Janeiro (UFRJ), Brasil - Rio de Janeiro/RJ, Contatos: (21) 8204-7102, E-mail: mal-

ves[AT]cos.ufrj.br, http://www.lcg.ufrj.br/Members/malves

1

2

sido bem sucedidos na concepção e implementação de sistemas que emulem o aparato visualresponsável pela análise e síntese de informação recolhida em termos de forma, cor, textura,relevo, entre outras características, mesmo existindo uma profusão de resultados derivados depesquisas em áreas como óptica, controle de sistemas, neurofisiologia, psicologia, psicofísica eafins. Um outro ponto a ser analisado diz respeito ao conhecimento acerca da visão biológica,que de certa forma, ainda apresenta-se de maneira muito limitada, desconexa e na maioriadas vezes, especulativa. Essas perspectivas limitantes tem motivado pesquisadores em Visão apropor teorias computacionais sobre o que seria o processo de visão. Tais teorias têm evoluídoao longo dos anos e atualmente servem como ferramentas no auxílio à crescente compreensãodeste processo.

É através dessas ferramentas de auxílio a compreensão do processo de visão que podemosextrair várias características de um cenário ou objeto, tais como, posições, dimensões, métricas epropriedades materiais, além das relações entre os objetos observados e o ambiente que os cerca.Um interessante tópico desse amplo campo de estudo é o da Harmonização de Cores, um assuntoque tem desafiado artistas e cientistas ao longo dos séculos, ora seja por sua magnificência oraseja por sua nebulosidade. O enfoque dado a esse campo sobrecai essencialmente na busca porelementos harmônicos ou cores harmônicas. Conceituamos cores harmônicas como conjuntosde cores que são esteticamente agradáveis em termos de percepção visual humana.

No presente relatório iremos apresentar um método que realça a harmonia entre cores de umadada fotografia ou imagem em geral, mantendo-se fiel, tanto quanto possível as cores originaisdo objeto de entrada. Dada uma imagem colorida, o método em questão também pode encontraro melhor esquema harmônico para as cores da imagem ou dar ao usuário o poder de escolhero conjunto de cores que produz a melhor saída. O melhor agrupamento harmônico para umadada imagem será encontrado através da minimização de uma função de custo. Tal função decusto é baseada na “distância” existente entre a disposição do histograma circular de matizesda imagem e os setores que compõem um determinado agrupamento. O agrupamento eleito omelhor será aquele que possuir a menor distância em relação ao histograma circular de matizesda imagem original.

O método apresentado ainda oferece uma graciosa mudança de valores de matiz, de modoa ajustar o agrupamento harmônico utilizado considerando coerência espacial. Os resultadosdemonstram que o método é capaz de realçar a harmonia de uma grande gama de imagens,especialmente aquelas que apresentam um destacamento evidente entre informações do plano defundo e do plano de frente.

No entanto, antes de qualquer análise prévia sobre a corretude do método exposto, devemosalertar sobre as limitações do mesmo. A partir desse ponto deverá haver uma separação entresintaxe do processo (estrutura e forma) e semântica dos resultados (lógica e significado), pois ométodo não garante nenhuma coerência à respeito da conservação de estruturas de percepçãoem uma imagem, apenas faz com que aglomerados de pixels sejam agrupados satisfazendo umadada relação de vizinhança. Não serão respeitados artefatos como pele, gradações de azul emuma imagem que contenha partes do céu, plumagem, texturas particulares ou ainda qualqueroutra expressão de cor para um determinado objeto que o classifique de maneira única. Paraque resultados semânticos possam ser alcançados, faz-se necessária a inclusão de uma etapa dereconhecimento e classificação de objetos presentes na cena (esse não será o enfoque do presenterelatório).

Palavras-chave: Filtragem, Realce de Imagens, Harmonização de Cores, Processamento de Imagens, Estética Computacional.

SumárioResumo 2

1 Introdução 4

2 Trabalhos Relacionados 5

3 Gabaritos Harmônicos 6

4 Distância Harmônica 74.1 Função de Custo ou Distância . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2 Minimização da Distância . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5 Harmonização 105.1 Deslocamento de Cores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

6 Resultados e Aplicações 12

7 Discussão e Conclusões 137.1 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137.2 Agradecimentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Referências 21

Figuras 22

Tabelas 23

Equações 24

Apêndice 25

A Apêndice 25A.1 Estado da Arte em Harmonização de Cores . . . . . . . . . . . . . . . . . . . . . . . . . . 25A.2 Recursos na Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

B Bibliografia Complementar 27B.1 Bibliografia Complementar Principal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27B.2 Bibliografia Complementar Secundária . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

C Resultados e Autoria 28

D Ferramenta Desenvolvida 28

3

1 INTRODUÇÃO 4

(a) original (b) gabarito T, α = 35 ◦ (c) gabarito V, α = 5 ◦

Figura 1: Método de harmonização em ação. A técnica empregada executa um deslocamento na componentede matiz (hue) fazendo com que as cores presentes na imagem obedeçam um certo esquema ou agrupamentoharmônico previamente definido. Da esquerda para direita temos: imagem original, imagem recolorida utili-zando o agrupamento ou gabarito T com orientação α = 35 ◦ e imagem recolorida utilizando o agrupamentoou gabarito V com orientação α = 5 ◦. Ao longo do texto deste relatório utilizaremos os termos agrupamentoe gabarito de maneira intercambiável.

1 IntroduçãoMuito do que percebemos e sentimos sobre

uma imagem é experimentado através de suascores. Embora a nossa percepção das coresdependa do contexto e de fatos relacionados anossa cultura e conhecimento de mundo, é im-possível olhar para uma imagem sem ser afe-tado pela harmonia de suas cores. Esse tipode sensação nos leva a indagar qual o fenô-meno que ocorre em tais objetos, que faz comque os mesmos tornem-se prazerosos e confor-táveis no sentido perceptual. Uma forma deperceber tal fenômeno é através da composi-ção visual, combinação e disposição de suascores. Tais propriedades irão adjetivar o quechamaremos de Cores Harmônicas.

Definimos como Cores Harmônicas, con-juntos de cores que possuem alguma relaçãoespecial interna que proporciona uma percep-ção visual agradável [Cohen-Or et al., 2006].A harmonia entre cores não é determinadapor cores específicas, mas sim por sua posi-ção relativa no espaço de representação de co-res utilizado. A geração de conjuntos de coresharmônicas tem sido um problema em abertoentre artistas e cientistas [Holtzschue, 2002].Não foram poucos os gênios que devotaram

suas vidas e carreiras, encantando gerações,com o fruto de sua dedicação. Portinari, DaVinci, Michelangelo, Caravaggio, Rembrandt,Cézanne, Picasso, Kandinsky, Van Gogh, Dalí,Velásquez, Botticelli e Rafael, são alguns par-cos nomes dentre os grandes memoráveis (figu-ras 2 e 16). Todos os anteriormente citados ex-perimentaram uma contenda pessoal em buscadas propriedades que estabeleciam a harmoniade uma composição.

(a) Nascimento de Venus (b) Composition VII

Figura 2: O Nascimento de Vênus (Sandro Bot-ticelli) e Composition VII (Wassily Kandinsky).Obras que encantam pela maestria da combinaçãode tons e estética apurada.

Pouco se sabe sobre o montante de pro-priedades internas que faz com que a combi-nação entre cores gere conjuntos perceptual-mente agradáveis do ponto de vista do obser-vador. A maioria das relacões matemáticas

2 TRABALHOS RELACIONADOS 5

são fruto da observação e aproximação, mesmoassim, ainda não existe um modelo genéricopassível de aplicação universal. Munsell e Go-ethe [Munsell, 1969; Zajonc, 1976; von Goethe,1971; Cohen-Or et al., 2006] definiram harmo-nia de cores como equilíbrio, em um esforçopara transferir o conceito de harmonia de co-res de uma perspectiva subjetiva para uma ob-jectiva.

Embora atualmente não exista nenhumaformulação fechada e universal que defina umconjunto harmônico, há um consenso entreartistas, definindo quando um conjunto o é.Além disso existem algumas formas, esquemase relações nos espaços de cores adotados quedescrevem o sentido de harmonia [Matsuda,1995; Tokumaru et al., 2002].

Artistas profissionais geralmente contamcom experiência e intuição para escolher suascores harmônicas favoritas. Quando não mon-tam seu próprio conjunto harmônico por ten-tativa e erro, escolhem algum em manuais pré-escritos [Krause, 2002] ou utilizam aplicaçõesinterativas [Meier, 1988]. Uma vez que o con-junto é definido, o artista precisa colorir ourecolorir sua gravura com este conjunto, umatarefa que pode ser entediante, quando a ima-gem é por demais complexa e contém váriasdetalhes com cores distintas.

Neste relatório nós iremos apresentar umatécnica que provê ao usuário uma ferramentade recoloração, muito útil em diferentes con-textos e que foi introduzida no artigo ColorHarmonization de Daniel Cohen-Or [Cohen-Oret al., 2006]. Dada uma imagem arbitrária,possivelmente uma fotografia, as cores destaimagem serão modificadas para melhorar/real-çar a relação entre elas e aumentar a harmoniada composição. Conceituaremos esse processode realce de cor como Harmonização de Co-res ou tão somente, Harmonização (do inglêsColor Harmonization) [Cohen-Or et al., 2006].

A técnica apresentada pode lidar com ima-gens arbitrariamente complexas ou paleta decores com uma rica variedade de tons, libe-

rando o designer ou artista profissional do te-dioso trabalho de escolher um conjunto harmô-nico específico. Além disso o método otimizaconjunto de cores contido na imagem de en-trada mantendo-se o mais fiel possível à paletade cor original.

Esta técnica é intrinsecamente bem susce-dida quando lidamos com cenários onde háuma notável distinção entre informações doplano de fundo e do primeiro plano, ou aindaáreas homogêneas (figura 15). Isso permite,por exemplo, harmonizar as cores de uma ima-gem de fundo em relação ao primeiro plano ouadaptar as cores de primeiro plano [Cohen-Oret al., 2006] (figura 1 e 14).

2 Trabalhos RelacionadosO estudo de harmonia de cores é historica-

mente entrelaçado com o estudo da naturezafísica da luz e cor. Descobertas iniciais na teo-ria da harmonia de cores foram feitas por mes-tres como Newton, Goethe, Young e Maxwell.A Teoria da Cor moderna, desenvolvida noinício do século XX, lida principalmente comrepresentações de cores, mas também discutea harmonia de cores [Munsell, 1969; Ostwald& Birren, 1969; Itten, 1960; Cohen-Or et al.,2006].

Moon e Spencer [Moon & Spencer, 1944]introduziram uma representação quantitativade harmonia com base no sistema de cores deMunsell [Munsell, 1969] (figura 3). Ao mesmotempo Granville e Jacobson [Granville & Ja-cobson, 1944] formularam uma representaçãoquantitativa de harmonia com base no sistemade cores de Ostwald [Ostwald & Birren, 1969].

Em 1960, Johannes Itten [Itten, 1960], in-troduziu um novo tipo de círculo de cores noqual descreveu a harmonia, com ênfase na to-nalidade. A Teoria Harmônica de Itten é base-ada em posições relativas das matizes no cír-culo de cores. Dessa forma, a partir das trêscores primárias: ciano, magenta e amarelo, It-

3 GABARITOS HARMÔNICOS 6

ten projetou um círculo de doze cores. Elese referia as cores complementares como umaharmonia de duas cores.

(a) Representação tridimensional

(b) Círculo de cores (c) Sistema de cores

Figura 3: O Sistema de Cores de Munsell. Em (a), re-presentação tridimensional, em (b), tons do sistema decor de Munsell, com valores variados, e em (c), a re-presentação formal do sistema de cor de Munsell, mos-trando um círculo de tonalidades com valor de matiz 5e croma 6, sendo os valores neutros variantes de 0 a 10.

(a) Círculo de cores (Farbkreis) - 1961

Figura 4: Em suas pesquisas, Itten desenvolveu ocírculo de cores, que permite descobrir combinaçõesharmoniosas (os sete contrastes de cor).

Itten também reconheceu a harmonia detrês cores de matizes que formam um triân-gulo equilátero, a harmonia de quatro cores detons formando um quadrado, a harmonia deseis cores de um hexágono, e assim por diante(figura 4). Seus sistemas foram amplamenteadotados por artistas e designers. Com basenos esquemas de Itten e extensa pesquisa psi-cofísica, Yutaka Matsuda [Matsuda, 1995] in-troduziu um conjunto de 80 esquemas de coresharmônicas, definidos pela combinação de vá-rios tipos de distribuições de matizes e tons.Estes esquemas foram utilizados por MasatakaTokumaru [Tokumaru et al., 2002] para ava-liação da harmonia e emprego de cores. Ométodo exposto neste relatório é baseado nosesquemas de Tokumaru.

Atualmente, existem várias ferramentas in-terativas que fornecem a designers conjuntosharmônicos. Meier [Meier, 1988] foi um dospioneiros na formulação da ferramentas inte-rativas de harmonização de paletas, apresen-tando em 1988 um sistema para projeção decores com base em várias regras, aplicando-as a uma interface gráfica do usuário (GUI)[Cohen-Or et al., 2006].

A técnica exposta neste relatório tambémcontou com a elaboração de uma interface grá-fica do usuário afim de facilitar a entrada deparâmetros de harmonização e recoloração daimagem alvo. Tais técnicas são relacionadascom métodos de recoloração expostos em tra-balhos por Levin, Reinhard, Welsh, Rasche,Gooch e Ironi [Reinhard et al., 2001; Welshet al., 2002; Levin et al., 2004; Gooch et al.,2005; Irony et al., 2005; Rasche et al., 2005]Um dos maiores desafios dessas técnicas é arecoloração da imagem de maneira coerente.

3 Gabaritos HarmônicosA noção de harmonia presente neste rela-

tório baseia-se nos sistemas desenvolvidos porMatsuda e Tokumaru [Matsuda, 1995; Toku-

4 DISTÂNCIA HARMÔNICA 7

maru et al., 2002], a qual descende das noçõesde harmonia de Itten.

i type V type L type I type

T type Y type X type N type

(a) Gabaritos Harmônicos

Figura 5: Gabaritos Harmônicos no círculo de matizes.Uma coleção de cores que se enquadram nas áreas cin-zentas é considerada harmônica. Os modelos podem serrotacionados por um ângulo arbitrário o qual definimoscom o nome de argumento ou orientação e denotamospela letra α. As dimensões exatas dos setores que com-põem os agrupamentos são as seguintes: os grandes se-tores do tipo V, Y e X englobam 26% do disco (93, 6 ◦);os setores menores dos tipos i, L, I e Y englobam 5%do disco (18 ◦), o grande setor do tipo L engloba 22%(79, 2 ◦), o setor do tipo T engloba 50% (180 ◦). O ângulode separação entre os centros dos setores pertencentesaos tipos I, X e Y é de 180 ◦, e para o tipo L é de 90 ◦.

A figura 5 ilustra os oito tipos de gabaritosou agrupamentos harmônicos definidos sobreo canal de matiz do círculo de cores do sis-tema HSV (Hue/Saturation/Value). Cada tipoé uma distribuição de tonalidade de cores quedefinem um modelo harmônico: cores com to-nalidades que se enquadram nos setores cin-zentos do molde são definidas como harmôni-cas, de acordo com este modelo [Cohen-Or etal., 2006]. Neste relatório iremos nos referira estas distribuições como modelos, gabaritosou agrupamentos, uma vez que definem as rela-ções radiais no círculo de cores ao invés de co-res específicas. Os agrupamentos harmônicospodem consistir em tons da mesma cor (tiposI, V e T), possivelmente com cores complemen-tares (modelos I, Y, X) ou combinações maiscomplexas (tipo L). Os setores desses agrupa-mentos são os domínios sobre os quais fun-ções de associação são definidas. A Harmonia

de cores é afetada principalmente pelo canalde matiz, no entanto, Tokumaru [Tokumaru etal., 2002] também abordou funções de distri-buição de tons para os valores dos canais desaturação (Saturation) e brilho (Value).

O gabarito N corresponde a imagens em es-cala de tons de cinza e, portanto, não será tra-tado neste relatório. Note que cada um dosagrupamentos restantes consiste em um gaba-rito que possui um ou dois setores circulares.

4 Distância HarmônicaCada tonalidade ou matiz h do círculo de

cores é associado a um dos setores que com-põe um dado gabarito harmônico. A maneiramais simples de executar essa tarefa é asso-ciar a matiz h a borda mais próxima do setorem termos de comprimento de arco. Para tal,definimos a função ETm(α)(p) como aquela queretorna a borda do setor Tm com orientaçãoα mais próxima ao valor de matiz h do pixelp, sendo m ∈ {i, V, L, I, T, Y, X}. Sua formulaçãopode ser visualizada logo a seguir:

ETm(α)(p) = min {Dfe(s, p), Dse(s, p);∀s ∈ S} (1a)Dfe(s, p) = ||H(p) − feTm(α)(s)|| (1b)Dse(s, p) = ||H(p) − seTm(α)(s)|| (1c)

Figura 6: Nomenclatura para bordas dos setorescirculares que compõem os agrupamentos harmô-nicos. Em nossa nomenclatura designamos comoprimeira borda do setor o segmento feTm(α) e comosegunda borda o segmento seTm(α).

Em outras palavras, faremos uma buscapela borda de todos os setores componentes deum determinado gabarito, a borda com menor

4 DISTÂNCIA HARMÔNICA 8

distância entre todos os setores s pertentencesao conjunto de setores S de um gabarito, seráretornada. Para facilitar a visualização dessabusca definimos um setor de gabarito como umconjunto que possui os seguintes elementos:primeira borda (first border, feTm(α)), segundaborda (second border, seTm(α)) e um ângulo βque caracteriza a amplitude do setor (figura 6).Este é o primeiro passo para a definição dafunção de custo que retorna a distância entreuma determinada imagem e um gabarito ouagrupamento harmônico.

4.1 Função de Custo ou DistânciaEm nosso segundo passo, dada uma ima-

gem, iremos em busca de um gabarito harmô-nico Tm que se encaixe com o histograma de to-nalidade ou matiz da imagem de entrada. Paratal, definiremos uma função que mede a dis-tância entre o histograma e um dado agrupa-mento, e determinaremos o modelo que melhorse adapta à nossa imagem através da resoluçãode um problema de otimização.

Um gabarito Tm em conjunto com umaorientação α definirá um esquema harmô-nico, denotado pelo par (m,α). Dado um es-quema harmônico (m,α), define-se uma fun-ção F(P, (m,α)), que mede a harmonia de umaimagem P, com respeito ao esquema (m,α),sendo sua formulação:

F(P, (m,α)) =∑p∈P

||H(p) − ETm(α)(p)|| · S(p) (2)

Onde H e S referem-se aos canais de ma-tiz e saturação do pixel p, respectivamente, ea distância || · || refere-se a uma medida emcomprimento de arco dada em radianos. Ma-tizes residentes dentro dos setores de Tm serãoconsideradas como tendo distância zero ao es-quema.

Perceba que a fórmula fornecida anterior-mente também considera o canal S, uma vezque as distâncias entre as cores com grandes

quantidades de saturação são perceptivelmentemenos visíveis do que as distâncias entre asde alta saturação. Note também que atravésda soma de todos os pixels da imagem, impli-citamente usamos uma média ponderada de-terminada pelo histograma de cores [Cohen-Or et al., 2006]. Uma listagem de distânciaspara a figura 7 pode ser visualizada atravésda tabela 1. Neste exemplo utilizamos os me-lhores resultados ranqueados através da mé-trica MOS (Mean Opinion Score), listando ostipos de esquemas harmônicos utilizados, jun-tamente com suas respectivas orientações α edistâncias F(P, (m,α)).

Imagem Gabarito Orientação α F(P, (m,α))

(b) i 160 ◦ 58094.7(c) V 5 ◦ 42110.4(d) L 0 ◦ 22727.7(e) T 50 ◦ 12807.6(f) I 10 ◦ 14550.0(g) L 190 ◦ 25167.0(h) I 145 ◦ 22364.8(i) Y 30 ◦ 12910.6(j) X 90 ◦ 8584.5(k) L 225 ◦ 27629.2(l) I 345 ◦ 14757.7

Tabela 1: Tabela de distâncias harmônicas. Nestatabela exibimos uma lista de distâncias harmônicaspara os exemplos visualizados na figura 7.

4.2 Minimização da DistânciaDada uma imagem P e um gabarito Tm, o

valor do ângulo ou orientação α ∈ [0, 2π) queminimiza a expressão anteriormente fornecida,define o melhor esquema harmônico de P emrelação ao agrupamento Tm, que formulamoscomo:M(P, Tm) = (m,α0) s.t. α0 = minα{F(P, (m,α))} (3a)

O melhor esquema harmônico B(P) de umadada imagem P será determinado será deter-minado pela minimização da função F sobretodos os possíveis gabaritos Tm:B(P) = (m0, α0) s.t. m0 = minm{F(P,M(P, Tm))} (4a)

4 DISTÂNCIA HARMÔNICA 9

(a) original (b) i, α = 160 ◦ (c) V, α = 5 ◦ (d) L, α = 0 ◦

(e) T, α = 50 ◦ (f) I, α = 10 ◦ (g) L, α = 190 ◦ (h) I, α = 145 ◦

(i) Y, α = 30 ◦ (j) X, α = 90 ◦ (k) L, α = 225 ◦ (l) I, α = 345 ◦

Figura 7: Escolha manual de agrupamentos harmônicos. A imagem (a) refere-se a imagem original e as demais sãoresultado da aplicação manual de seus respectivos agrupamentos harmônicos. Agrupamentos harmônicos com diversosvalores de orientação α resultam em diferentes paletas de cores.

(a) original (b) deslocada (c) harmonizada (d) histogramas

Figura 8: Visão geral do processo de harmonização. Em (a), imagem original, em (b), com deslocamento global de330 ◦, em (c), harmonizada com o gabarito T e α = 330 ◦ e em (d), seus respectivos histogramas de cima para baixo.Note que a processo tenta preservar as cores originais, tanto quanto possível.

5 HARMONIZAÇÃO 10

Para uma melhor visualização do processo,fazemos uso de um histograma definido sobreo círculo de matizes do espaço de cor HSV (fi-guras 19 e 20). No artigo original os autoresfizeram uso do Algoritmo de Brent para otimi-zação da orientação α. Neste relatório optamospela paralelização da função de custo o quecausou um ganho considerável em nossa im-plementação. De qualquer maneira, a aplica-ção desenvolvida também permite que o usuá-rio escolha um esquema harmônico específicode maneira manual ajustando-o à imagem for-necida (figuras 7, 8, 17 e 18).

5 HarmonizaçãoO valor fornecido pelo operador F(P, (m,α))

(equação 2) reflete o grau de harmonia de umadada imagem P em relação a um esquemaharmônico Tm(α). Quanto menor for o valorde F maior será a afinidade ou proximidadeentre a imagem e o esquema harmônico Tm(α)[Cohen-Or et al., 2006]. Uma vez que Tm(α)esteja fixado, automática ou manualmente, aharmonia entre as cores poderá ser otimizadacom relação a Tm(α) através do deslocamentodas matizes de P. A esse processo, constituídodas etapas de busca de agrupamento, minimi-zação de orientação e deslocamento de matizes,dá-se o nome de Harmonização de Cores outão somente Harmonização.

O processo de Harmonização tem comofoco a preservação das cores originais da ima-gem, deslocando as demais para o setor maispróximo do modelo ou esquema adotado. Noentanto, esta definição primordial do processonão leva em consideração a coerência espacialexistente entre os pixels da imagem. Isto poderesultar em artefatos causados por “separação”de regiões contínuas de uma imagem, tal comodemonstrado na figura 11. Essa divisão ocorreem regiões singulares no espaço de cores, ondeas tonalidades próximas são compatíveis com

dois setores diferentes do esquema harmônicoutilizado, resultando em uma descontinuidadede cor. Matizes equidistantes de duas bordasdo mesmo setor ou de setores diferentes deum dado esquema harmônico serão deslocadaspara diferentes setores do modelo adotado, oque pode causar uma recoloração descontínuana imagem. No artigo base deste relatório (Co-lor Harmonization [Cohen-Or et al., 2006]), osautores superam essa dificuldade com o em-prego de mais uma etapa no processo, fazendouso de uma segmentação binária. Optamospela utilização de um filtro mediano adapta-tivo. Em trabalhos futuros faremos uso devárias técnicas de classificação e segmentaçãoque ajudem a rotular de maneira efetiva nãosó uma área, mas um contigente de áreas in-trinsecamente relacionadas.

5.1 Deslocamento de CoresUma vez que todos os pixels p ∈ P tenham

sido associados a borda mais próxima ETm(α)(p)de um setor que compõe o gabarito, poderemosrecolorir a imagem através de deslocamentosde seus valores de matiz. Os valores de matizcom distâncias não nulas serão rearranjadospara que residam dentro de algum setor do ga-barito harmônico. Assim como os autores doartigo original, ao invés de uma simples con-tração linear fizemos com que o deslocamentoseguisse uma ponderação gaussiana, para quea densidade das matizes residentes dentro dogabarito não fosse consideravelmente afetada.Cabe como trabalho futuro a verificação de ou-tros núcleos de ponderação e catalogação deseus efeitos. O método de deslocamento dematizes reproduzido nesse relatório faz comque cada pixel p seja movido em direção a suarespectiva borda ETm(α)(p), usando a seguintefórmula:

Hshift(p) = C(p) +w

2(1−Gσ(DHC)) (5a)

DHC = ||H(p) − C(p)|| (5b)

5 HARMONIZAÇÃO 11

Onde C(p) denota o valor de matiz centraldo setor associado ao pixel p, w a largura dearco do setor e Gσ a função gaussiana norma-lizada, dada por:

Gσ(x, µ) =1

σ√2π· exp

{−(x− µ)2

2σ2

}(6)

Sendo Gσ(x) ∈ (0, 1], com média µ = 0 edesvio padrão σ = w/2. O termo DHC denotaa distância em comprimento de arco existenteentre o valor de matiz do pixel p e o valorde matiz central C(p) do setor associado aopixel p. Apenas como forma de lembrete, se-guem abaixo as fórmulas para cálculo do com-primento de arco e largura de arco para umdado setor s:

L(s) =s(angle)

360· 2 · π · s(radius) (7a)

W(s) = 2 · s(radius) · sin (s(angle)/2) (7b)

Maiores dúvidas a respeito dessas medidaspodem ser sanadas através do diagrama exi-bido através da figura 9. Note que essas medi-das são expressas em radianos.

Arc-Length - L(s)

Arc-Width - W(s)Radius

Arc-Width

Arc-Length

Radiusangle

Figura 9: Medidas de setores circulares - largura ecomprimento de arco.

Como resultado do mapeamento exibidoatravés de Hshift(p), ocorrerá uma contraçãode matizes dentro dos setores dos gabaritos.Note que matizes originalmente cobertas pelossetores de um gabarito não sofrerão mudan-ças bruscas. Porém, os demais pixels estarãoa mercê de um decaimento dirigido pela fun-ção de controle, em nosso caso, uma funçãogaussiana normalizada. O comprimento dessagaussiana é um parâmetro arbitrado pelo usuá-rio, podendo variar no intervalo [0, w). A esco-lha de valores altos para σ pode fazer com que

valores de matiz deslocados se alojem próximosdos centros dos setores enquanto que a esco-lha de valores baixos faz com que as bordasde um determinado setor se tornem populosas.Em nossa implementação seguimos utilizandoσ = w/2, para manter um melhor balancea-mento das cores. Os efeitos do deslocamentode cores podem ser visualizados através doshistogramas exibidos nas figuras 8, 10 e 18.

(a) original (b) L, α = 335 ◦

(c) original (d) L, α = 335 ◦

Figura 10: Deslocamento de cores e histogramas.Através das figuras acima podemos entender comoocorre o deslocamento de cores após a escolha deum determinado gabarito harmônico. O gabaritoutilizado para tal demonstração foi o L, com umvalor de argumento (ou orientação) α = 335 ◦.

Em alguns casos o deslocamento de corespode produzir artefatos que afetam a qualidadeperceptual da imagem (figura 11). Esses arte-fatos, em sua maioria são oriundos da am-biguidade em se julgar a qual setor pertencedeterminada matiz. Para sanar esse problemaalguns autores utilizam-se de técnicas de seg-mentação tais como graph-cut ou mean-shift.Mesmo tendo um resultado otimizado tais téc-nicas introduzem mais uma etapa de comple-xidade. Neste relatório adotamos um viés de

6 RESULTADOS E APLICAÇÕES 12

menor complexidade: a aplicação de um filtromediano adaptativo para corrigir pequenas re-giões onde tais artefatos possam ocorrer.

1

2

Figura 11: Ambiguidade no deslocamento de cores.Certos artefatos podem ser produzidos no desloca-mento de cores quando não puder ser decidido paraqual setor mover determinado valor de matiz de-vido as distâncias serem idênticas. Figura retiradado artigo Color Harmonization, 2006, Cohen-Or etal.

6 Resultados e AplicaçõesComo visto no decorrer de todo este relató-

rio, o processo de harmonização pode ser apli-cado em uma grande gama de imagens (figu-ras 1, 7, 8, 10, 14, 15, 17 e 18). Imagens comuma certa variedade de cores, em primeira ins-tância, podem parecer mais agradáveis depen-dendo de sua coerência espacial, porém, con-juntos harmônicos evitam cores não relaciona-das, um fato que melhora a acuidade visual doobjeto a ser observado [Cohen-Or et al., 2006;Matsuda, 1995; Tokumaru et al., 2002].

Embora a escolha automática dos agrupa-mentos harmônicos se esforce para manter ascores da imagen de entrada tão perto quantopossível das cores originais, o usuário pode, demaneira arbitrária, alterar a paleta de cores daimagem apenas rotacionando manualmente ogabarito (figuras 10, 19 e 20).

O método apresentado neste relatório é sen-sivelmente útil quando se trata de combina-ção de imagens, onde as partes constituintessão provenientes de diferentes fontes. O al-goritmo é capaz de harmonizar as cores detoda a imagem, ou se desejado, as cores doplano de frente em relação as cores do plano de

fundo. Isso fornece uma ferramenta útil paraa concepção de cartazes, logotipos, apresenta-ções, embalagens, identidades visuais, sites ouquaisquer materiais de divulgação, comunica-ção ou expressão que possuam como cerne oapelo visual (figura 18).

O processo de harmonização tem seu de-sempenho aumentado quando cores, inseridasde maneira manual, estão presentes na ima-gem. Tons suaves levam a resultados menosmarcantes. Um exemplo deste fato recai so-bre imagens naturais, as quais possuem umaharmonia inerente fazendo com que o métodotenha em si, pouca efetividade, pelo menos emescolhas automáticas, pois a maioria das coresgeralmente caem ou são sobrepostas em algumesquema harmônico quase que perfeitamente(figura 12).

(a) original (b) histograma

Figura 12: Inerência de harmonia em imagens na-turais. Através do histograma apresentado pode-mos visualizar a inerênca de harmonia em imagensnaturais. Para esta imagem o melhor agrupamentoencontrado foi o X, com α = 174 ◦ e F = 47.59. Ou-tros resultados podem ser visualizados através dafigura 13.

Escolher manualmente agrupamentos combaixa pontuação pode levar a resultados pouconaturais, como demonstrado na figura 13.Além disso, uma vez que a harmonização reduzo conjunto de cores, os objetos com diferentestonalidades podem acabar com coloração idên-tica, o que dificulta a separação semântica dosmesmos em uma imagem. A separação semân-tica de objetos em uma cena não é o foco destatécnica, cabendo tal lacuna a trabalhos futuros

7 DISCUSSÃO E CONCLUSÕES 13

(a) original (b) V, α = 0 ◦ , F = 18360 (c) T, α = 0 ◦ , F = 4861 (d) T, α = 270 ◦ , F = 9307 (e) L, α = 310 ◦ , F = 15462

Figura 13: Cores em imagens naturais. As cores em imagens naturais costumam seguir algum esquemaharmônico e sua harmonização com relação a esse esquema leva a pouca ou nenhuma mudança. A harmo-nização com respeito a um agrupamento de má correspondência tende a nos fornecer resultados anormais,a maioria desses resultados, anormais de maneira semântica.

que envolvam, entre outras coisas, classifica-ção e aprendizado de máquina.

7 Discussão e ConclusõesNeste relatório apresentamos um método

de recolorização de imagens baseado em agru-pamentos harmônicos que tem como cerne oartigo Color Harmonization [Cohen-Or et al.,2006; Matsuda, 1995; Tokumaru et al., 2002].Tal método quantifica a harmonia existente en-tre as cores que compõem uma imagem e asmodifica levando em consideração uma confi-guração harmônica. Além disso o método per-mite que o usuário para consiga harmonizarimagens manualmente e ajustar facilmente osresultados automáticos obtidos através de sim-ples rotações em agrupamentos harmônicos. Aharmonização de cores é particularmente útilquando as imagens tratadas são compostas porpartes provenientes de diferentes fontes, ouquando informações de plano de fundo e pri-meiro plano possuem uma sensível diferença.

Deve-se notar também que a técnica nãoaltera cores de baixa saturação, uma vez queatua apenas no canal de tonalidade. Portanto,regiões escuras ou cinzentas permanecem inal-teradas. Porém, quando se muda uma matiz,o contraste da cor aparente pode ser alteradauma vez que a percepção humana pode reagirde maneiras diferentes a combinações de co-

res variadas. Em trabalhos futuros, a incorpo-ração de restrições e transformações adequa-das aos canais de saturação e brilho seriam degrande valia a preservação dos contrastes decores.

7.1 Trabalhos FuturosEm trabalhos futuros exploraremos com

maior profundidade núcleos de ponderaçãopara deslocamento de cores, algoritmos de seg-mentação e restrições de baixo nível para sepa-ração de cores que não devam ser modificadas.Isto permitirá que o usuário desabilite a alte-ração de cores, cuja manipulação pode levar aresultados não naturais (como por exemplo, acor do céu - figura 13).

7.2 AgradecimentosA Alexandre Gaio Chimeton pelas explana-

ções geométricas e apoio no decorrer do de-senvolvimento de trechos abordados da natu-reza algoritmo-intervalar do problema, a Re-nata Nascimento, por testar as idéias por trásdo cerne do problema e servir de avaliadorados resultados finais gerados e por último,ao docente responsável, Prof. DSc. RicardoGuerra Marroquim, pelo espaço cedido para odebate e evolução de idéias sem as quais o de-senvolvimento desse estudo não seria possível.Meu muito obrigado a todos.

7 DISCUSSÃO E CONCLUSÕES 14

(a) original (b) matiz/hue (c) saturação/saturation (d) valor/value

(e) gabarito i, α = 20 ◦ (f) gabarito i, α = 170 ◦ (g) gabarito i, α = 200 ◦ (h) gabarito i, α = 300 ◦

(i) gabarito L, α = 20 ◦ (j) gabarito L, α = 40 ◦ (k) gabarito X, α = 72 ◦ (l) gabarito Y, α = 320 ◦

(m) gabarito T, α = 50 ◦ (n) gabarito T, α = 85 ◦ (o) gabarito L, α = 160 ◦ (p) gabarito T, α = 215 ◦

Figura 14: Separação de planos de fundo e amplitude de resgate de características originais. A técnicaempregada, na maioria dos casos, consegue separar informação relativa a cores presentes no plano defundo e no plano de frente da cena, para tal, a informação de matiz relativa ao plano de fundo deveser sobreposta por algum dos agrupamentos harmônicos. As cores não recobertas pela área de atuaçãodo agrupamento serão deslocadas para o setor mais próximo, em comprimento de arco, pertencente aoagrupamento. As imagens (a), (b), (c) e (d) referem-se respectivamente a: imagem original, informação dematiz (hue), informação de saturação (saturation) e informação de brilho (value). Nas imagens (e), (f), (g) e(h), podemos notar que a parca amplitude de resgate de informação do agrupamento utilizado faz com quea maioria das informações presentes na cena sejam deslocadas para um espectro diminuto. Nas imagens (i),(j), (k), (l), (m) e (n), podemos notar que os resultados exibidos são os mais interessantes do ponto de vistasemântico da paisagem pois as matizes condizentes com o plano de fundo não sofreram alteração, sendo essasofrida apenas pelos objetos focados na cena. Já as imagens (o) e (p), apresentam uma alteração perceptívelna informação condizente ao plano de fundo mesmo utilizando agrupamentos de considerável amplitudede resgate de informação. Essas alterações são o resultado da combinação da geometria do agrupamentosomado a forma como as matizes da figura original se distribuem no histograma de matiz: quanto maisespaçada for essa distribuição mais oneroso será encontrar um agrupamento que satifaça de maneira plenaas condições de sobreposição entre agrupamento (ou gabarito) e histograma da imagem.

7 DISCUSSÃO E CONCLUSÕES 15

(a) original (b) luminância (c) matiz (d) saturação (e) brilho

(f) α = 15 ◦ (g) α = 50 ◦ (h) α = 80 ◦ (i) α = 115 ◦ (j) α = 170 ◦

(k) α = 215 ◦ (l) α = 270 ◦ (m) α = 290 ◦ (n) α = 310 ◦ (o) α = 345 ◦

Figura 15: Conservação de áreas homogêneas. Podemos observar que agrupamentos harmônicos com apenasum setor tendem a concentrar a informação de matiz. Para imagens com uma grande quantidade deáreas homogêneas, esses agrupamentos são os mais recomendados. As imagens (a), (b), (c), (c) e (d)referem-se respectivamente a: imagem original, informação de luminância, matiz, saturação e brilho. Asdemais imagens foram obtidas utilizando-se o agrupamento ou gabarito i juntamente com os respectivosdeslocamentos de 15, 50, 80, 115, 170, 215, 270, 290, 310 e 345 ◦.

7 DISCUSSÃO E CONCLUSÕES 16

(a) original, α = 0 ◦ (b) α = 30 ◦ (c) α = 60 ◦

(d) α = 90 ◦ (e) α = 120 ◦ (f) α = 150 ◦

(g) α = 180 ◦ (h) α = 210 ◦ (i) α = 240 ◦

(j) α = 270 ◦ (k) α = 300 ◦ (l) α = 330 ◦

Figura 16: Um exemplo de pré-harmonização: O rosto de Vênus. Estamos rodeados de exemplos harmoniososou semi-harmonizados que vão desde manifestações naturais de cores, e.g., pelagem de animais, flores, etc.,até manifestações artísticas produzidas pelo homem. Um dos vários exemplos existentes de objetos pré-harmonizados produzidos pelo homem foi exibido no início deste relatório, trata-se do recorte O Nascimentode Vênus, onde temos como foco o rosto e os cabelos da Deusa. Nesse exemplo não utilizamos nenhumgabarito harmônico, apenas aplicamos um deslocamento direto de todos os valores de matiz presentes naimagem seguindo a fórmula Hnew(p) = Hold(p) + α. Os melhores resultados visuais julgados através damétrica Mean Opinion Score (MOS) são observados através das imagens (b) e (l).

7 DISCUSSÃO E CONCLUSÕES 17

(a) original, α = 0 ◦ (b) matiz/hue (c) saturação/saturation (d) brilho/value

(e) i, α = 55 ◦ (f) V, α = 0 ◦ (g) L, α = 230 ◦ (h) I, α = 22 ◦

(i) T, α = 0 ◦ (j) T, α = 300 ◦ (k) Y, α = 30 ◦ (l) X, α = 220 ◦

Figura 17: Aplicação de diferentes gabaritos. Através destes exemplo podemos visualizar o comportamento do métodomediante a apliacação de vários gabaritos e sua versatilidade em cenas complexas. Em alguns casos o mesmo gabaritopode produzir resultados sensivelmente diferentes apenas com a mudança de sua orientação (imagens (i) e (j)). Imagemoriginal retirada do artigo Color Harmonization [Cohen-Or et al., 2006], as demais, foram produzidas pela ferramentadesenvolvida neste relatório.

(a) original (b) T, α = 250 ◦, F = 6298.49 (c) V, α = 335 ◦, F = 10630.00

Figura 18: Uma ferramenta de auxílio a organização e estética de ambientes. Neste exemplo podemos perceber queo restante da sala foi harmonizado levando em consideração o assoalho, o qual permaneceu inalterado. A técnicaexposta neste relatório é uma das muitas que pode atuar como ferramenta de auxílio a organização e estética deambientes, poupando tempo e esforço de profissionais de arquitetura e design de interiores.

7 DISCUSSÃO E CONCLUSÕES 18

Figura 19: Color Harmonization Assistent - Visão da Interface. Para reprodução da técnica propostapor Cohen-Or et al., fez-se necessária a construção de um assistente que pudesse prover ao usuário umasofisticada interface de manipilação de parâmetros voltados a harmonização de imagens. A aplicação contacom: um módulo de leitura e exibição, um módulo de escrita, um módulo de exibição por canal (luminância,canal vermelho, canal verde, canal azul, canal de matiz, canal de saturação, canal de brilho), um módulo deexibição de propriedades e histogramas, um módulo de configuração de harmonia por gabarito e por fim ummódulo de otimização o qual executa uma busca pelo agrupamento mais adequado para uma dada imagem.

Figura 20: Barra de Harmonização - Visão da Interface. Através desse conjunto de controles o usuário tema possibilidade de personalização do gabrito, juntamente com o grau de orientação que deve ser fornecidopara um melhor resultado visual.

REFERÊNCIAS 19

ReferênciasBochko, V. & Parkkinen, J. (2006), ‘A spec-tral color analysis and colorization techni-que’, Computer Graphics and Applications,IEEE 26(5), 74–82.

Chang, Y., Saito, S., Uchikawa, K. & Naka-jima, M. (2006), ‘Example-based color styli-zation of images’, ACM Transactions on Ap-plied Perception 2(3), 322–345.

Cohen-Or, D., Sorkine, O., Gal, R., Leyvand,T. & Xu, Y.-Q. (2006), ‘Color harmonization’,ACM Transactions on Graphics (Proceedingsof ACM SIGGRAPH) 25(3), 624–630.

Datta, R., Joshi, D., Li, J. & Wang, J. Z. (2006),Studying aesthetics in photographic imagesusing a computational approach, in ‘Compu-ter Vision–ECCV 2006’, Springer, pp. 288–301.

Gooch, A. A., Olsen, S. C., Tumblin, J. &Gooch, B. (2005), ‘Color2gray: salience-preserving color removal’, ACM Trans.Graph. 24(3), 634–639. URL http://doi.

acm.org/10.1145/1073204.1073241.

Granville, W. C. (1987), ‘Color harmony:What is it?’, Color Research & Application12(4), 196–201. URL http://dx.doi.org/

10.1002/col.5080120407.

Granville, W. C. & Jacobson, E. (1944), ‘Co-lorimetric specification of the color har-mony manual from spectrophotometric me-asurements’, J. Opt. Soc. Am. 34(7), 382–393. URL http://www.opticsinfobase.

org/abstract.cfm?URI=josa-34-7-382.

Gruber, L., Kalkofen, D. & Schmalstieg, D.(2010), Color harmonization for augmentedreality, in ‘Mixed and Augmented Reality(ISMAR), 2010 9th IEEE International Sym-posium on’, pp. 227–228.

Hascoet, M. (2012), Visual color design, in ‘In-formation Visualisation (IV), 2012 16th In-ternational Conference on’, IEEE, pp. 62–67.

Holtzschue, L. (2002), Understanding Color,John Wiley & Sons. Inc., New York.

Huang, H., Zang, Y. & Li, C.-F. (2010),‘Example-based painting guided by color fe-atures’, The Visual Computer 26(6-8), 933–942.

Huo, X. & Tan, J. (2009), An improved methodfor color harmonization, in ‘Image and Sig-nal Processing, 2009. CISP ’09. 2nd Interna-tional Congress on’, pp. 1–4.

Irony, R., Cohen-Or, D. & Lischinski, D.(2005), Colorization by example, in ‘Proce-edings of the Sixteenth Eurographics con-ference on Rendering Techniques’, Euro-graphics Association, pp. 201–210.

Itten, J. (1960), The Art of Color, New York:Van Nostrand Reinhold Company.

Kelly, K. L. & Judd, D. B. (1976), Color: uni-versal language and dictionary of names, Vol.440, US Department of Commerce, NationalBureau of Standards.

Krause, J. (2002), Color Index: Over 1,000 Co-lor Combinations, CMYK and RGB Formu-las, for Print and Web Media, F & W Publi-cations, Incorporated.

Lalonde, J.-F. & Efros, A. A. (2007), Usingcolor compatibility for assessing image re-alism, in ‘Computer Vision, 2007. ICCV2007. IEEE 11th International Conferenceon’, IEEE, pp. 1–8.

Levin, A., Lischinski, D. & Weiss, Y. (2004),‘Colorization using optimization’, ACMTrans. Graph. 23(3), 689–694. URL http:

//doi.acm.org/10.1145/1015706.1015780.

REFERÊNCIAS 20

Li, C. & Chen, T. (2009), ‘Aesthetic visual qua-lity assessment of paintings’, Selected To-pics in Signal Processing, IEEE Journal of3(2), 236–252.

Liu, L., Chen, R., Wolf, L. & Cohen-Or,D. (2010), Optimizing photo composition, in‘Computer Graphics Forum’, Vol. 29, WileyOnline Library, pp. 469–478.

Luan, Q., Wen, F., Cohen-Or, D., Liang,L., Xu, Y.-Q. & Shum, H.-Y. (2007), Na-tural image colorization, in ‘Proceedings ofthe 18th Eurographics conference on Rende-ring Techniques’, Eurographics Association,pp. 309–320.

Luo, Y. & Tang, X. (2008a), Photo and videoquality evaluation: Focusing on the subject,in ‘Computer Vision–ECCV 2008’, Springer,pp. 386–399.

Luo, Y. & Tang, X. (2008b), Photo and videoquality evaluation: Focusing on the subject,in ‘Computer Vision–ECCV 2008’, Springer,pp. 386–399.

Matsuda, Y. (1995), Color Design, AsakuraShoten (in Japanese), Tokio, Japan.

Meier, B. J. (1988), Ace: a color expert systemfor user interface design, in ‘Proceedings ofthe 1st annual ACM SIGGRAPH symposiumon User Interface Software’, UIST ’88, ACM,New York, NY, USA, pp. 117–128. URL http:

//doi.acm.org/10.1145/62402.62424.

Moon, P. & Spencer, D. E. (1944), ‘Geome-tric formulation of classical color harmony’,JOSA 34(1), 46–50.

Morovic, J. & Luo, M. R. (2001), ‘The Fun-damentals of Gamut Mapping: A Survey’,pp. 283–290.

Morse, B. S., Thornton, D., Xia, Q. & Uibel, J.(2007), Image-based color schemes, in ‘Image

Processing, 2007. ICIP 2007. IEEE Interna-tional Conference on’, Vol. 3, IEEE, pp. III–497.

Munsell, A. H. (1969), A grammar of color: abasic treatise on the color system, Van Nos-trand Reinhold Co.

Nack, F., Manniesing, A. & Hardman, L.(2003), Colour picking: the pecking prderof form and function, in ‘Proceedings of theeleventh ACM international conference onMultimedia’, MULTIMEDIA ’03, ACM, NewYork, NY, USA, pp. 279–282. URL http:

//doi.acm.org/10.1145/957013.957071.

Obrador, P. (2006), Automatic color schemepicker for document templates based onimage analysis and dual problem, in ‘Electro-nic Imaging 2006’, International Society forOptics and Photonics, pp. 607609–607609.

O’Donovan, P., Agarwala, A. & Hertzmann, A.(2011), Color compatibility from large data-sets, in ‘ACM SIGGRAPH 2011 papers’, SIG-GRAPH ’11, ACM, New York, NY, USA,pp. 63:1–63:12. URL http://doi.acm.org/

10.1145/1964921.1964958.

Ostwald, W. & Birren, F. (1969), The ColorPrimer, Van Nostrand Reinhold Company,New York, USA.

Press, W. H., Teukolsky, S. A., Vetterling,W. T. & Flannery, B. P. (1992), NumericalRecipes in C: The Art of Scientific Compu-ting, 2nd ed., Cambridge University Press,New York, NY, USA.

Rasche, K., Geist, R. & Westall, J. (2005), ‘Re-coloring images for gamuts of lower dimen-sion’, Computer Graphics Forum 24(3), 423–432. URL http://dx.doi.org/10.1111/j.

1467-8659.2005.00867.x.

Reinhard, E., Ashikhmin, M., Gooch, B.& Shirley, P. (2001), ‘Color transfer

REFERÊNCIAS 21

between images’, IEEE Comput. Graph. Appl.21(5), 34–41. URL http://dx.doi.org/10.

1109/38.946629.

Sato, Y. & Tajima, J. (1995), A color schemesupporting method in a color design system,in ‘SPIE’, Vol. 2411, pp. 25–33.

Sauvaget, C. & Boyer, V. (2010), Harmonic co-lorization using proportion contrast, in ‘Pro-ceedings of the 7th International Conferenceon Computer Graphics, Virtual Reality, Vi-sualisation and Interaction in Africa’, ACM,pp. 63–69.

Sawant, N. & Mitra, N. (2008), Color har-monization for videos, in ‘Computer Vision,Graphics Image Processing, 2008. ICVGIP’08. Sixth Indian Conference on’, pp. 576–582.

Shapira, L., Shamir, A. & Cohen-Or, D. (2009),Image appearance exploration by model-based navigation, in ‘Computer GraphicsForum’, Vol. 28, Wiley Online Library,pp. 629–638.

Sun, M., Sun, Q. & Xu, X. (2009), Color har-mony based on fitting functions, in ‘Infor-mation Technology and Applications, 2009.IFITA’09. International Forum on’, Vol. 1,IEEE, pp. 165–167.

Sunkavalli, K., Johnson, M. K., Matusik, W.& Pfister, H. (2010), ‘Multi-scale image har-monization’, ACM Transactions on Graphics(TOG) 29(4), 125.

Tanaka, G., Suetake, N. & Uchino, E. (2010),‘Color transfer based on normalized cumula-tive hue histograms.’, JACIII 14(2), 185–192.

Tang, Z., Miao, Z. & Wan, Y. (2010), Imagecomposition with color harmonization, in‘Image and Vision Computing New Zea-land (IVCNZ), 2010 25th International Con-ference of’, pp. 1–8.

Tang, Z., Miao, Z., Wan, Y. & Jesse, F. F.(2011a), ‘Colour harmonisation for imagesand videos via two-level graph cut’, ImageProcessing, IET 5(7), 630–643.

Tang, Z., Miao, Z., Wan, Y. & Wang, Z. (2011b),‘Color harmonization for images’, Journal ofElectronic Imaging 20(2), 023001–023001.

Tokumaru, M., Muranaka, N. & Imanishi, S.(2002), Color design support system consi-dering color harmony, in ‘Fuzzy Systems,2002. FUZZ-IEEE’02. Proceedings of the2002 IEEE International Conference on’,Vol. 1, pp. 378–383.

von Goethe, J. W. (1971), Goethe’s Color The-ory. Translated by Rupprecht Matthei, VanNostrand Reinhold Co., New York, USA.

Wang, C., Zhang, R. & Deng, F. (2009), ‘Imagecomposition with color harmonization’, Chi-nese Optics Letters 7(6), 483–485.

Wang, L. & Mueller, K. (2008), Harmonic co-lormaps for volume visualization, in ‘Procee-dings of the Fifth Eurographics/IEEE VGTCconference on Point-Based Graphics’, Euro-graphics Association, pp. 33–39.

Wang, X., Jia, J., Liao, H. & Cai, L. (2012),Image colorization with an affective word,in ‘Computational Visual Media’, Springer,pp. 51–58.

Welsh, T., Ashikhmin, M. & Mueller, K.(2002), ‘Transferring color to greyscale ima-ges’, ACM Trans. Graph. 21(3), 277–280.URL http://doi.acm.org/10.1145/566654.

566576.

Westland, S., Laycock, K., Cheung, V., Henry,P. & Mahyar, F. (2012), ‘Colour harmony’,JAIC-Journal of the International Colour As-sociation.

Zajonc, A. G. (1976), ‘Goethe’s theory of colorand scientific intuition’, American Journal ofPhysics 44, 327.

Figuras1 Método de harmonização em ação. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 O Nascimento de Vênus e Composition VII. . . . . . . . . . . . . . . . . . . . . . . . . . 43 O Sistema de Cores de Munsell. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Círculo de cores (Farbkreis) - 1961 - Johannes Itten . . . . . . . . . . . . . . . . . . . . . 65 Gabaritos Harmônicos de Masataka Tokumaru . . . . . . . . . . . . . . . . . . . . . . . . 76 Nomenclatura para bordas dos setores circulares. . . . . . . . . . . . . . . . . . . . . . . 77 Escolha manual de agrupamentos harmônicos. . . . . . . . . . . . . . . . . . . . . . . . . 98 Visão geral do processo de harmonização de cores. . . . . . . . . . . . . . . . . . . . . . 99 Medidas de setores circulares - largura e comprimento de arco. . . . . . . . . . . . . . . 1110 Deslocamento de cores e histogramas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1111 Ambiguidade no deslocamento de cores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1212 Inerência de harmonia em imagens naturais. . . . . . . . . . . . . . . . . . . . . . . . . . 1213 Cores em imagens naturais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1314 Separação de planos de fundo e amplitude de resgate de características originais. . . 1415 Conservação de áreas homogêneas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1516 Um exemplo de pré-harmonização: O rosto de Vênus. . . . . . . . . . . . . . . . . . . . . 1617 Aplicação de diferentes gabaritos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718 Uma ferramenta de auxílio a organização e estética de ambientes. . . . . . . . . . . . . 1719 Color Harmonization Assistent - Visão da Interface . . . . . . . . . . . . . . . . . . . . 1820 Barra de Harmonização - Visão da Interface . . . . . . . . . . . . . . . . . . . . . . . . . 18

22

Tabelas1 Tabela de distâncias harmônicas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

23

Equações1c Equação da borda mais próxima ETm(α)(p) : [ Equação 1 ] . . . . . . . . . . . . . . . . . . . . 72 Função de custo ou distância F(P, (m,α)) : [ Equação 2 ] . . . . . . . . . . . . . . . . . . . . 83a Função de minimização de orientação M(P, Tm) : [ Equação 3 ] . . . . . . . . . . . . . . . . . 84a Função de minimização global B(P) : [ Equação 4 ] . . . . . . . . . . . . . . . . . . . . . . . . 105b Função de deslocamento de cores Hshift(p) : [ Equação 5 ] . . . . . . . . . . . . . . . . . . . . 106 Função de ponderamento gaussiano Gσ(x, µ) : [ Equação 6 ] . . . . . . . . . . . . . . . . . . 117b Função de medida de arco L(s) e W(s): [ Equação 7 ] . . . . . . . . . . . . . . . . . . . . . . 11

24

A APÊNDICE 25

A Apêndice

A.1 Estado da Arte em Harmonização de CoresOs estudos sobre a moderna teoria das cores e harmonização são relativamente recentes, datandodo início do século XX, porém, o esforço de conceituação neste campo remonta à época dos primei-ros ensaios aristotélicos que concluiam que a cor era uma propriedade inerente aos objetos, assimcomo peso, material e textura. Desde então, vários mestres, de diferentes cernes influenciariamesse campo, o que nos mostra que os resultados em Harmonização são oriundos de diversas áreasde pesquisa, não existindo uma formulação fechada do problema, consequentemente também nãoexistindo uma solução. O que existe atualmente são diversos métodos para resolver tarefas bemdefinidas, as quais são bastante especializadas e raramente podem ser generalizadas para váriasaplicações. Na maioria dos casos de emprego das técnicas de Harmonização, os computadoressão pré-programados para resolver uma tarefa em particular. Logo, podemos perceber que a Har-monização de Cores é um campo que se encontra ainda nos seus primórdios, sendo a grandemaioria de suas soluções e abordagens, objeto de pesquisa. Esta pesquisa envolve toda uma gamade enfoques, desde aplicações bastante orientadas à solução de problemas práticos restritos, comoo controle de qualidade de produção de protótipos através de inspeção automática até tentativas demodelagem de processos cognitivos visuais como eles ocorrem nos animais superiores, numa ten-tativa de elaborar modelos genéricos de percepção visual. Uma das características mais marcantesdo estado da arte em Harmonização de Cores é que ainda não existe nenhum modelo genéricode percepção visual, matematicamente definido e fechado, passível de ser aplicado na prática. Onosso conhecimento de como funcionam os mecanismos de percepção visual nos animais tampoucoé suficiente para que possamos aplicar algum mecanismo de “engenharia reversa”, utilizando porexemplo técnicas de redes neurais para modelar ou imitar a percepção visual biológica. O queocorre na prática, é que, para resolvermos uma determinada tarefa de harmonização de imagensutilizamos um conjunto de algoritmos bastante específicos, que são respectivamente responsáveispor realizar subtarefas limitadas dentro do processo de harmonização. Esses algoritmos são di-vididos em grupos, como filtros de contraste, detectores de bordas, segmentadores, classificadoresde texturas e assim por diante. Comumente resolvemos um problema encaixando um conjuntodesses algoritmos uns atrás dos outros para chegarmos a um resultado que só funcionará paraum conjunto de imagens com características muito específicas, deixando de funcionar para todasas outras. Para um iniciante desavisado essa realidade pode parecer bastante desanimadora, poisisso realmente esta a mundos de distância do “computador que vê e interpreta”. Esta limitaçãonos algoritmos e nos paradigmas de análise de imagens realmente impõe grandes limitações aoque pode ser realizado na prática com as técnicas atualmente disponíveis. Compreender essaslimitações e conhecer formas de tirar o máximo de proveito do que atualmente há disponível éum aspecto muito importante a ser considerado por quem deseja enveredar-se por problemas cujasolução possivelmente envolva o uso de vários outros campos correlatos, tais como, Neurobiologia,Psicologia Comportamental, Ótica, Processamento de Imagens, Processamento de Sinais Multidi-mensionais, Visão Computacional, Otimização Estocástica e Inteligência Artificial. Enfim, caberáa interdisciplinaridade promover o avanço da área.

A APÊNDICE 26

A.2 Recursos na InternetAbaixo segue uma lista de recursos que poderão auxiliar ao leitor deste relatório, caso o mesmo seinteresse em reproduzí-lo. Nesta lista constam endereços eletrônicos de repositórios de bibliotecas,ferramentas, artigos acadêmicos, entre vários objetos de apoio1.

• http://igl.ethz.ch/projects/color-harmonization/ - Color Harmonization

• http://opencv.willowgarage.com/wiki/ - OpenCV

• http://savannah.nongnu.org/projects/libcvd - libCVD

• http://www.matrox.com - Matrox Image Library

• http://www.ni.com/vision/ - NI Vision - National Instruments

• http://picoforge.int-evry.fr/cgi-bin/twiki/view/Gpucv/Web/ - GpuCV

• http://cimg.sourceforge.net/ - The CImg Library

• http://openil.sourceforge.net/ - DevIL - Developer’s Image Library

• http://vxl.sourceforge.net/ - VXL - The Vision-something-Libraries

• http://www.nvidia.com/object/cuda_home_new.html - CUDA

• http://camellia.sourceforge.net/ - Camellia Library

• http://www.euresys.com - Open eVision - Image Analisys Tools

• http://www.adaptive-vision.com - Adaptive Vision Library

• http://www.commonvisionblox.com/ - Common Vision Blox

• http://www.cs.cmu.edu/~cil/v-source.html - Computer Vision Software

• http://www.mathworks.com/products - Image Processing Toolbox for MATLAB

• http://sivp.sourceforge.net/ - Scilab Image and Video Processing Toolbox

• http://siptoolbox.sourceforge.net/ - Scilab Image Processing toolbox

• http://www.scilab.org/contrib/ - Scilab Former Toolbox Center

• http://rsbweb.nih.gov/ij/ - ImageJ - Image Processing and Analisys in Java

• http://cran.r-project.org/web/packages/biOps/index.html - biOps

• http://www.imagemagick.org/Magick++/ - ImageMagick Magick++ API

• http://www.boost.org/doc/libs/1_48_0/libs/gil/doc/index.html - GIL

• http://www.imageprocessingplace.com/ - Image Processing Place

• http://www.efg2.com/Lab/Library/ - Image Processing List

• http://www.videoclarity.com/ - Understanding MOS, JND and PSNR.

1Última visita realizada em 31 de Maio de 2013. O autor deste relatório não se responsabiliza pela disponibilidadedestes recursos, cabendo o ônus ou o bônus de sua publicação inteiramente aos seus respectivos idealizadores.

B BIBLIOGRAFIA COMPLEMENTAR 27

B Bibliografia ComplementarAs referências bibliográficas complementares empregadas neste relatório foram divididas em

duas categorias: Principal e Secundária. Deve-se observar, que a estrutura teórica deste relatóriosegue com uma reprodução dos resultados do artigo Color Harmonization, porém optamos por umareprodução parcial, pois julgamos onerosos alguns recursos utilizados no artigo. Devido a esse fatosubstituímos, em uma primeira fase, tais recursos por técnicas notadamente menos onerosas. Areprodução total dos algoritmos constantes no artigo direcional serão deixados como trabalhosfuturos, nos quais enfatizaremos o uso de várias técnicas de segmentação e vários núcleos deponderação de deslocamento. Abaixo segue a lista de bibliografias complementares:

B.1 Bibliografia Complementar Principal• David A. Forsyth, Jean Ponce, Computer Vision: A Modern Approach, First Edition,Prentice

Hall, 2003;

• R. C. Gonzalez and R. E. Woods. Digital Image Processing. Prentice Hall, New Jersey, 3edition, 2008.

• Aura Conci, Eduardo Azevedo e Fabiana R. Leta, Computação Gráfica: Processamento eAnálise de Imagens Digitais, Vol. 2, Campus / Elsevier, 2007.

• http://www.lcg.ufrj.br/Cursos/cos756/introducao-ao-processamento-de-imagens

• http://www.lcg.ufrj.br/Cursos/COS-751

B.2 Bibliografia Complementar Secundária• E. R. Davies, Machine Vision, Third Edition: Theory, Algorithms, Practicalities (Signal

Processing and its Applications), Thirth Edition, Mourgan Kaufmann, 2005;

• Milan Sonka, Vaclav Hlavac, Roger Boyle, Image Processing, Analysis, and MachineVision, Third Edition, CL-Engineering, 2007;

• H. Pedrini and W. R. Schwartz. Análise de Imagens Digitais: princípios, algoritmos eaplicações. Thomson Learning, São Paulo, 2008.

• Ogê Marques Filho e Hugo Vieira Neto. Processamento Digital de Imagens. Rio deJaneiro: Brasport, 1999. ISBN 8574520098.

• Jonas Gomes and Luiz Velho. Fundamentos da Computação Gráfica, volume 1 of Sériede Computação e Matemática. IMPA, 1st edition, 2008.

• Stuart J. Russell and Peter Norvig. Artificial intelligence - a modern approach, 2nd ed.,2009.

• David Marr: Vision - A Computational Investigation into the Human Representation andProcessing of Visual Information, W.H.Freeman & Co.,1982

C RESULTADOS E AUTORIA 28

• John C. Russ: The Image Processing Handbook, CRC Press, 1995

• B.D.Ripley: Pattern Recognition and Neural Networks, Cambridge Univ. Press, 1996

• R.D.Boyle, R.C.Thomas: Computer Vision - A First Course, Blackwell Scientific, 1988

• Perker: Algorithms for Image Processing and Computer Vision

• Torras: Computer Vision: Theory and Industrial Application

• Haralick, Shapiro: Computer and Robot Vision, Volumes I & II,

• Buxton: Computer Vision - EECV 96: fourth European Conf. of Computer Vision

• Mundy: Geometry Invariance in Computer Vision

• Brown: Real-time Computer Vision

• Young: Handbook of Pattern Recoginition and Image Processing, Academic Press

• Metaxas: Physics-Based Deformable Models

• Hanan Samet: The Design and Analysis of Spatil Data Structures, Addison Wesley, 1989

• http://computacaografica.ic.uff.br/vol2.html

• Image Processing On Line (http://www.ipol.org)

• http://iris.sel.eesc.usp.br/wvc (Workshop de Visão Computacional)

C Resultados e AutoriaOs resultados expostos neste relatório são oriundos da ferramenta Color Harmonization Assis-

tent (figuras 19 e 20). Tal ferramenta foi desenvolvida pelo autor deste relatório com o intuitode comprovar a aplicabilidade da técnica de recolorização baseada em agrupamentos harmônicos[Cohen-Or et al., 2006]. As figuras 5 e 11 foram integralmente retiradas do artigo Color Harmo-nization [Cohen-Or et al., 2006]. As figuras 6 e 9 foram integralmente confeccionadas para esterelatório.

D Ferramenta DesenvolvidaA implementação do assistente de harmonização (figuras 19 e 20) utilizado neste relatório teve

como base a linguagem C++. Para o desenvolvimento da interface gráfica do usuário utilizamos abiblioteca FLTK. Os módulos de leitura e escrita de imagens foram concebidos através do uso dabiblioteca Magick++.

[X\