Antes de apresentarmos sobre espaços e filtros de cores é necessário entender o que são cores e quais cores nós conseguimos enxergar para melhor entender como representá-las computacionalmente. Nesta primeira parte, serão explicados conceitos básicos sobre frequência de cores.

Caso você queira visualizar os efeitos que filtros de cores podem ter na área de visão computacional, vá para o final deste artigo.

Tudo o que sabemos sobre cores hoje em dia, iniciou em 1660, quando o cientista britânico Isaac Newton descobriu que, ao atravessar um feixe de luz solar num prisma de vidro, o feixe de luz sofria decomposição em uma gama de cores similares às do arco-íris. Newton concluiu que as cores que visualizou, faziam parte da luz solar branca. Logo em seguida, conseguiu demonstrar que, após decompor a luz branca com um prisma, poderia recompor as cores dispersadas com outro prisma invertido obtendo novamente a luz branca. [C] A ilustração da Fig.1, apresenta o espectro de cores produzido neste experimento, dividido em 7 regiões: vermelho, laranja, amarelo, verde, azul, anil, e violeta.

No experimento de Newton, conclui-se, que a cor branca é composta por todas as demais, com o violeta em uma extremidade ao vermelho na outra [GW]. As  cores são formadas, por frequências da radiação eletromagnética e todas estas variações de frequência compõem o espectro eletromagnético conforme ilustrado na Fig. 2.

Por muito tempo, achou-se que a luz era a  única parte conhecida deste espectro, porém ela representa uma parte muito pequena dele. O espectro se estende desde as ondas de baixa frequência, ondas de rádio, até as de maior frequência como as da radiação gama. Todas estas variações de frequências, servem como áreas de aplicação do processamento de imagens.

Uma forma fácil, de compreender a extensão de aplicações de processamento de imagens e possibilidades que um computador consegue enxergar, é categorizar estes espectros como, espectro de luz visível humana, raio x, infravermelho e assim por diante. Porém, ao categorizá-los não devemos esquecer que podemos utilizar mais de uma categoria ao mesmo tempo, como extração de informação.

Espectro visível da luz

Se observarmos a Fig. 2, percebemos que a variedade de cores que enxergamos é muito pequena, comparada a todo o espectro eletromagnético. Os espaços e filtros de cores apresentados a seguir foram criados para representar essa faixa do espectro de luz, também conhecida como espectro de luz visível humano.

Espaço de cores

Um espaço de cor, é uma fórmula/modelo matemática que descrever a cor. Existem vários espaços de cores diferentes, cada um foi pensado para um propósito diferente. Dentre eles os mais conhecidos são o RGB, CMYK, HSV e HSL.

Cores aditivas RGB (Red, Blue e Green)

O espaço de cor RBG, criado por James C Maxwell, e provavelmente o mais conhecido, é uma representação 3D das cores vermelho, azul, e verde, conforme Figura 4. Este espaço é associado a reprodução de cores em dispositivos eletrônicos, como monitor, celulares e TVs.

O RGB é um padrão de cores aditivas, elas são chamadas “aditivas” porque ao serem adicionadas, a soma dessas três cores, resulta na luz branca. Ao combinar apenas duas dessas cores primárias obtemos as cores secundárias: magenta, amarelo e ciano, conforme representado na Figura 3. O ciano é a união do azul com o verde. Já o amarelo, é a mistura do vermelho e do verde. Por fim, o magenta é resultado do azul mais o vermelho. Observer que as cores primarias no sistema aditivo é diferente das cores primarias no sistema subtrativo, visto na próxima seção.

Na Figura 5 outras demonstrações da mistura de cores no sistema aditivo. No cubo à esquerda, notar que o preto é obtido a partir da auxência de todas as cores, e no cubo a direita, a cor branca é o resultado da soma de todas as cores.

Uma consideração, o sistema RGB utilizado em monitores e televisões é o sistema sRGB, existem outros modelos RGB como o Adobe RGB, bastante utilizado na industria de impressão.

Cores Substrativas CMYK

O sistema CMYK CMYK (Cyan, Magenta, Yellow e Black) é utilizado em impressão, pois trabalha com pigmentos. Diferente do modelo aditivo, o sistema subtrativo funciona pela absorção de luz: quanto mais cores são misturadas, menos luz é refletida, ou seja, quanto mais cores diferentes é misturado, menos cor ela ira refletir.

A cor branca, ou tinta branca, no sistema subtrativo, é a cor que menos absorve cores, logo refletindo todas elas. A cor preta, por sua vez, é a que mais absorve cores, não refletindo nenhuma, conforme ilustrado na Figura 6.

No modelo subtrativo, uma tinta vermelha, por exemplo, absorve verde e azul, refletindo apenas o vermelho.

Sistema RYB (Red, Yellow, Blue)

Muito utilizado por artistas, o modelo RYB (Red, Yellow, Blue) define as cores primárias tradicionais ensinadas no ensino básico.

A partir das cores RYB, obtemos o círculo cromático, uma representação, simplificada e em círculo, das cores percebidas pelo olho humano. Esta representação é muito útil para designer, arquitetos, pintores e outras artistas, pois a partir dela, é possível identificar cores complementares e contrastantes, cores contrastante sem perda de harmonia.

No artigo Círculo Cromático: Veja Como Usar e Evite Erros na Escolha das Cores, são apresentados diversos exemplos de combinações de cores utilizando o círculo cromático.

Representação HSV e HSB

HSV é a abreviatura para o sistema de cores formadas pelos componentes Hue (matiz), Saturation (saturação) e Value (valor). O sistema de cor HSV é uma representação cilindrica das cores conforme Figuras 10 e 11.. O HSV também é conhecido como HSB (hue, saturation e brightness — matiz, saturação e brilho, respectivamente) [WK].

A cor, no sistema HSV, é definida conforme descrito abaixo:

• Matiz (tonalidade): Define o tipo de cor, abrangendo todas as cores do espectro, desde o vermelho até o violeta, mais o magenta. Atinge valores de 0 a 360, em algumas aplicações, esse valor é normalizado de 0 a 100% ou entre 0 e 1.
• Saturação: Também chamado de “pureza”. Quanto menor esse valor, mais com tom de cinza aparecerá a imagem. Quanto maior o valor, mais “pura” é a imagem. Atinge valores de 0 a 100% entre 0 e 1.
• Valor (brilho): Define o brilho da cor. Atinge valores de 0 a 100% ou entre 0 e 1.

Este espectro de cor é muito útil no processamento de imagens e visão computacional, pois é mais simples extrair um faixa ou tipo de cor com este modelo.

Representação HSL

HSL é a abreviatura para o sistema de cores formado pelos componentes Hue (matiz), Saturation (saturação) e Lightness (luminosidade). O sistema de cor HSL é uma representação cilíndrica (ou biconica) das cores, semelhante ao HSV, porém com uma forma diferente de representar a variação de brilho.

A cor, no sistema HSL, é definida conforme descrito abaixo:

• Matiz (Hue) -Define o tipo de cor, abrangendo todas as cores do espectro visível, desde o vermelho até o violeta, incluindo o magenta. Seus valores variam de 0 a 360 graus, podendo também ser normalizados entre 0 e 1 ou 0% e 100%.
• Saturação (Saturation) -Representa a intensidade ou pureza da cor. Quanto menor o valor, mais próxima a cor estará de tons de cinza. Quanto maior, mais intensa e “pura” será a cor. Seus valores variam entre 0 e 100% ou entre 0 e 1.
• Luminosidade (Lightness) – Define o grau de iluminação da cor. Diferente do modelo HSV, a luminosidade no HSL varia entre preto, cor pura e branco:
  • 0% representa preto
  • 50% representa a cor em sua intensidade normal
  • 100% representa branco

Esse modelo permite um controle mais intuitivo da iluminação da cor, sendo bastante utilizado em design gráfico e interfaces visuais.

Assim como o HSV, o sistema HSL também é útil no processamento de imagens e visão computacional, especialmente quando se deseja manipular ou analisar cores levando em consideração sua luminosidade de forma mais equilibrada.

RGB para HSV e HSL

O HSV e o HSL são modelos de cores semelhantes, porém distintos. Ambos utilizam representações baseadas em geometrias cilíndricas para organizar as cores, facilitando sua interpretação e manipulação. No entanto, eles diferem na forma como essa geometria é construída.
O modelo HSV é baseado no chamado “hexcone” (um cone hexagonal), enquanto o modelo HSL é baseado em um “bi-hexcone” (duplo cone hexagonal), o que resulta em diferentes formas de representar o brilho e a intensidade das cores.
Na Figura 12, é possível observar as diferenças entre essas duas representações cilíndricas. A ilustração apresenta:

• A estrutura geométrica de cada modelo (HSV e HSL);
• A visualização das cores quando a saturação está em 100%, evidenciando apenas cores puras;
• A visualização das cores quando luminosidade (no HSL) ou valor/brilho (no HSV) estão em 100%, mostrando como cada modelo trata regiões mais claras;
• Cortes verticais no cilindro para valores de matiz em 0° e 180°, permitindo observar como as cores se distribuem internamente em cada modelo.

Essas diferenças estruturais influenciam diretamente na forma como as cores são ajustadas e percebidas em cada sistema, especialmente em aplicações de design gráfico e processamento de imagens.

Nos Vídeos 1 e 2, abaixo, são demonstrados como são realizados as conversões de um cubo RGB para as representações HSV/HSV e HSL.

Na Figura 13, ilustração da fórmula base para conversão entre estas representações. Ná página HSL and HSV da Wikipédia, contém a explanação completa destes cálculos.

Filtros

A seguir, serão apresentados alguns filtros locais (ou espaciais), com o objetivo de demonstrar como, por meio de operações simples, é possível extrair regiões específicas de uma imagem ou isolar determinados tipos de objetos.

Os filtros apresentados aqui são considerados os mais básicos no processamento de imagens. Eles funcionam analisando individualmente o valor de cada pixel da imagem de entrada e, com base em determinados critérios, geram uma nova imagem contendo apenas as informações de interesse.

Esse processo permite destacar características específicas da imagem original, como cores, bordas ou regiões específicas, facilitando etapas posteriores de análise. O funcionamento geral desse tipo de filtro pode ser observado de forma ilustrativa na Figura 14.

Filtro de cor HSV.

No experimento apresentado no Vídeo 3, é possível observar como a aplicação simples de um filtro baseado em uma faixa de cores permite extrair objetos ou regiões de interesse de uma imagem.

Nesse experimento, são extraídas seis regiões distintas. Cada uma dessas regiões corresponde a uma faixa de cor específica, permitindo a separação dos elementos da imagem com base em suas cores. As faixas utilizadas representam as seguintes cores: vermelho, amarelo, verde, azul, roxo e ciano.

No caso apresentado no Vídeo 3, o objetivo principal é extrair as regiões da imagem que contêm morangos. Para isso, é aplicado um filtro correspondente à faixa de cor vermelha, permitindo isolar esses elementos do restante da imagem de entrada.

É importante observar que, para isolar completamente os morangos, foram utilizadas duas faixas de cor vermelha. Isso ocorre porque, na representação HSV, a cor vermelha está localizada tanto no início quanto no final do intervalo de matiz, devido à natureza cíclica dessa representação.

Apesar de sua simplicidade, esse tipo de filtro pode ser utilizado de forma eficiente em ambientes controlados como um primeiro estágio de detecção de objetos. Isso se deve ao seu baixo custo computacional, o que permite seu uso em conjunto com métodos mais avançados, como algoritmos de inteligência artificial, formando uma abordagem encadeada de processamento.

Filtro de cor NDVI

Uma outra forma de extrair informações de uma imagem utilizando apenas filtros de cores é por meio da comparação da diferença, ou distância, entre duas ou mais bandas de cor em cada pixel. Esse tipo de abordagem permite extrair informações relevantes, como a presença de água, a saúde da vegetação, entre outras características específicas da cena.

O Índice de Vegetação por Diferença Normalizada (NDVI) é um exemplo desse tipo de técnica. Ele consiste em um indicador simples que representa a quantidade de biomassa fotossinteticamente ativa, ou seja, fornece uma estimativa da saúde da vegetação. Em termos mais intuitivos, o NDVI mede o estado das plantas com base em como elas refletem e absorvem a luz em diferentes frequências do espectro eletromagnético.

De forma simplificada, plantas saudáveis tendem a absorver mais luz na faixa do vermelho visível e refletir mais luz na faixa do infravermelho próximo. Já superfícies não vegetais apresentam comportamentos diferentes nessas faixas.

O NDVI funciona justamente comparando essas duas respostas espectrais, utilizando a seguinte fórmula:

Fórmula: NDVI = (Infravermelho Próximo - Vermelho) / (Infravermelho Próximo + Vermelho)

O resultado desse cálculo é um valor normalizado que varia tipicamente entre -1 e 1, permitindo diferenciar diferentes tipos de cobertura do solo.

Observe a imagem à esquerda da Figura 14: ela foi gerada a partir do cálculo do NDVI, utilizando a diferença entre dois canais de cor — o vermelho e o infravermelho próximo. Nessa representação, elementos como troncos de árvores, grama seca e rochas apresentam valores baixos de NDVI, pois não realizam fotossíntese. Em contrapartida, áreas com vegetação saudável apresentam valores elevados de NDVI, destacando-se claramente na imagem.

Mais sobre NDVI e outros Índices você pode ler em NDVI e NDWI – Índice de Vegetação e Índice de Água, e em Experimento – NDVI e NDWI com o Google Earth Engine um exemplo de como detectar água e vegetação saudável utilizando o Google Maps, utilizando apenas filtros de cores.

Outros índices

Existem diversos outros índices, capazes de diferenciar nuvens de neve, queimadas, entre outros como:

• Índice de Diferença Normalizada da Água (NDWI)
• Índice De Queima Por Razão Normalizada (NBR), Índice De Clorofila Verde (GCI);
• Índice De Neve de Diferença Normalizada (NDSI);
• Índice De Clorofila de Borda Vermelha (RECl);
• Índice De Vegetação Ajustado ao Solo Modificado (MSAVI);
• Índice De Vegetação da Diferença De Verde Normalizado (GNDVI);
• Índice De Vegetação Ajustado ao Solo (SAVI);
• Índice De Vegetação Resistente À Atmosfera (ARVI);
• Índice De RedEdge por Diferença Normalizada (NDRE);

melhores detalhados no artigo Indices de Vegetação da Earth Observation System.

Comentários finais

Uma das melhores formas de entender melhor os efeitos destes filtro é testando operações e funções que alteram a imagem, pois uma mesma operações pode produzir diversos efeitos diferentes dependendo da imagem utilizada.

Referências:

[C] CALDAS, J. Museu Interativo da Física da UFPA: Ação educativa com ênfase em divulgação e popularização da História e da Filosofia da Ciência para o ensino de Física. 2015. Trabalho de Conclusão de Curso. Faculdade de Física. Universidade Federal do Pará, Belém, 2015.

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais.
Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[GKPB] CMYK, RGB e RYB: conheça os diferentes sistemas de cores primárias. Acessado 12 de agosto de 2024.

[GC] Gerenciamento de cor. Cores – sistema aditivo e substrativo. Acessado em 12/08/2024.

[WK] Wikipédia . HSV. Acessado em 29/08/2024.

[WK2] Wikipédia. HSL and HSV. Acessado em 30/08/2024.

[EOS-2] Earth Observation System, Índice De Água De Diferença Normalizada. Acessado em 18 fev 2024.

The post Espaço e Filtros de Cores HSV, RGB, CMYK, HSB, HSL e RYB appeared first on Visão Computacional.

A extração de fronteiras, com morfologia, consiste em destacar as fronteiras da área de interesse (Roi) de uma imagem. Na Fig.1 é ilustrado o resultado de uma extração interna de fronteira.

Basicamente existem dois tipos de extração de fronteiras, as fronteiras internas e as fronteiras externas, sendo uma contraponto da outra.

Fronteira interna

Definição: β(A) = A – (A _^⊖ B)

A fronteira interna é o contorno da imagem binarizada. O cálculo consiste em subtrair da imagem, o resultado da erosão da própria imagem por um elemento estruturante.

Observe nas figuras abaixo, que a partir da imagem A, foi realizada sua erosão pelo elemento estruturante B. Como resultado desta operação, temos apenas os pixels interno da imagem, conforme a imagem da terceira coluna. Com a erosão realizada, basta subtrair da imagem A por esta erosão, resultando apenas os pixels que estão na Imagem A e não estão na sua erosão.

Fronteira externa

Definição: β(A) = (A _^⊕ B) – A

A fronteira externa, na imagem binarizada, cria uma camada como uma vestimenta que cobre toda a imagem. O cálculo consiste em dilatar a imagem por um elemento estruturante e subtrair pela imagem original.

Observe nas figuras abaixo, que a partir da Imagem A, foi realizada sua dilatação pelo elemento estruturante B. Como resultado desta operação, temos a imagem A mais uma camada externa à ela, conforme imagem da terceira coluna. Com a dilatação realizada, basta subtrair a dilatação pela Imagem A, resultando apenas nos pixels externos, que estão na imagem dilatada e não estão na imagem A.

Outros exemplos

Na ilustração da Tabela 01 são demonstrados os resultados das extrações de fronteiras, com os elementos estruturantes apresentados anteriormente.

Imagem original	Fronteira interna	Fronteira externa

A seguir, uma demonstração do resultado da extração de fronteira de uma imagem limiarizada, de um pote sobre uma mesa. O resultado desta operação, foi detectar as bordas da imagem. Esta demonstração foi realizada utilizando a IDE OpenCV-Flow.

Referências:

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

The post Morfologia Matemática – Extração de Fronteiras / Detecção de Bordas appeared first on Visão Computacional.

A morfologia também pode ser utilizada para extração de componentes conexos, busca de padrões específicos na imagem, delimitação de fecho convexo, extração de bordas entre outros [PS].

Neste post é apresentado um resumo sobre morfologia matemática, sem detalhar suas fórmulas matemáticas.

Imagem Digital e Binária

Uma imagem digital é formada por uma quantidade finita de amostras de uma cena, capturada pela lente de uma câmera, também pode ser chamada de imagem discreta e é representada como subconjunto do plano cartesiano Z², onde Z representa o conjunto dos números inteiros. Cada amostra da imagem, conhecida como pixel, está localizada em uma coordenada (x, y) da imagem, associada alguma informação sobre a cor [VL].

Uma imagem binária é composta por dois tipos de pixels, os do plano de fundo e o plano principal, que são representados normalmente usando preto e branco, ou 0 e 1, respectivamente [VL]. Normalmente representam a área de interesse durante o processamento morfológico.

Neste artigo é apresentada a morfologia matemática binária (em imagens binárias).

Elemento Estruturante

Um conceito importante na morfologia matemática é a definição de elemento estruturante, também chamado de núcleo. O elemento estruturante é um vetor bidimensional pré-definido, representado por zeros (0) e uns (1), com uma coordenada indicando o centro da operação e pode assumir diversas formas e aspectos, dependendo do tipo de efeito desejado a ser aplicado na imagem.

A seguir, são demonstrados 3 diferentes vetores de elementos estruturantes e suas imagens representativas, com o centro de operação destacado em vermelho.

[1, 1, 1,
1, 1, 1,
1, 1, 1]

[0, 1, 0,
1, 1, 1,
0, 1, 0]

[1,
1,
1]

A ideia básica da morfologia binária é sondar uma imagem com o elemento estruturante pré-definido, analisando como essa forma se encaixa ou não nas formas da imagem.

Erosão e Dilatação

A erosão e a dilatação são dois operadores fundamentais em Morfologia Matemática, muitos operadores morfológicos mais sofisticados se baseiam nestas duas operações.

Erosão

Símbolo / Representação : ⊖

Definição: A _^⊖ B = { z | (B)_z ∩ A^c = ∅ }

A erosão consiste em testar se o elemento estruturante se encaixa na imagem de origem, gerando uma nova imagem de destino, onde cada teste realizado com sucesso, é identificado na imagem de destino com o valor 1 e identificado com o valor 0 caso a estrutura não tenha sido localizada. Os valores 0 e 1 podem ser substituídos por outros valores, caso necessário.

O efeito prático do processo morfológico chamado erosão, consiste na modificação das feições da imagem, diminuindo-as em seu entorno, literalmente “erodindo-as” [MM].

Observe na ilustração a seguir, o passo a passo da erosão da imagem, de tamanho 11×11, pelo elemento estruturante, de tamanho 3×3. O processo inicia pelo teste do elemento estruturante na parte superior esquerda da imagem, onde é verificado se cada elemento do núcleo é encontrado da imagem. Para isso, é verificado se cada um dos elementos [1, 2, 3, 4, 5, 6, 7, 8, 9] do núcleo estão contidos nos elementos de coordenada [(1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)] da imagem, e registrado o valor 1 (branco) na imagem de destino caso todos os elementos sejam encontrados, como o teste não passou, na imagem de destino é registrado o valor 0 (preto). Então, é deslocado a verificação do núcleo para os próximos elementos da imagem, até que todos sejam testados.

A seguir, na ilustração da Fig. 6, é exibido um exemplo de erosão morfológica de uma imagem de placa de circuitos. Neste exemplo vamos tentar remover todos os circuitos e manter apenas suas extremidades. O primeiro processo realizado, consiste em carregar a imagem, convertê-la em tons de cinza e realizar a limiarização, para termos uma imagem em preto e branco (zeros e uns). Com a imagem limiarizada foi realizada a sua Erosão, com uma matriz 3×3 de valores 1.

Podemos observar pela imagem, que este simples processo eliminou todos os traços/linhas da imagem de entrada, mantendo apenas as estruturas maiores. O resultado não foi uma extração ideal de estrutura, porém, com uma única aplicação de operação morfológica foi possível remover muitas informações indesejadas. O exemplo acima foi realizado utilizando a ferramenta online OpenCV-Flow.

Dilatação

Símbolo / Representação: ⊕

Definição: A _^⊕ B = { z | (^B)_z ∩ A ≠ ∅ }

A dilatação, de certa forma, é o contraponto da erosão. Ela consiste em testar cada elemento da imagem de origem e verificar se possui valor 1, caso exista na imagem de destino, então é adicionado os valores do elemento estruturante a partir da posição central do elemento estruturante.

O efeito prático do processo morfológico chamado Dilatação consiste na modificação das feições da imagem, aumentando-as em seu entorno [MM].

Observe na ilustração a seguir, o resultado da aplicação do elemento estruturante (núcleo) na imagem. O núcleo de forma quadrada, com tamanho 3×3, possui os valores [1,1,1,1,1,1,1,1,1] e centro de coordenada (2,2). Note que ao aplicar o núcleo na coordenada (3,3) da imagem de entrada, resultou na imagem de saída a expansão daquele ponto, ao aplicar/copiar o elemento estruturante na imagem de saída. Todo o processo é repetido para cada elemento da imagem.

Abertura e Fechamento

Duas outras operações morfológicas importantes são a abertura e fechamento.

Abertura

Símbolo / Representação: ◦

Definição: A ◦ B = (A _^⊖ B) _^⊕ B

A abertura de uma imagem A por um elemento estruturante B é simplesmente a operação de erosão de A por B, seguida da dilatação de A por B [PS].

Ao realizar a erosão seguida da dilatação, o efeito produzido na imagem é de abertura de pontos/ligações e remoção de ruídos. Observe na ilustração da Fig. 9, que após realizar a operação de erosão na imagem, a conexão que existia entre os retângulos foi perdida e também foram reduzidos seu tamanhos. Porém, ao aplicar a dilatação esses retângulos voltaram a ter sua forma inicial.

Fechamento

Símbolo / Representação: •

Definição: A • B = (A _^⊕ B) _^⊖ B

O fechamento de uma imagem A por um elemento estruturante B é simplesmente a operação de dilatação de A por B, seguida da erosão de A por B [PS] .

Ao realizar a dilatação seguida da erosão, o efeito produzido na imagem são o fechamento de pequenos buracos e criação de conexões. Observe na ilustração da Fig. 10, que após realizar a dilatação, com a espação dos elementos, os buracos iniciais foram fechados, e com a realização da erosão o componente voltou a ter o aspecto da sua estrutura inicial, com os pequenos buracos fechados. Porém, como consequência desta técnica os componentes que estavam próximos se conectaram.

Filtragem morfológica

As operações morfológicas podem ser utilizadas como filtros de imagem, como filtros espaciais apresentados no artigo Domínios de Valor, Espaço e Frequência.

A ilustração da Fig. 11 mostra uma imagem de impressão digital corrompida por ruído, no topo a esquerda, sendo que o ruído se manifesta como elementos aleatórios claros sobre o fundo escuro e como elementos escuros sobre componentes claros na digital. O objetivo é eliminar todos os ruídos sem danificar a estrutura da digital [GW].

A seguir, na ilustração da Fig. 11, um exemplo de filtragem utilizando abertura seguida do fechamento morfológico, utilizando um elemento estruturante em forma de cruz.

O resultado final, após o fechamento, esta quase sem ruídos, mas com algumas das cristas de impressão não totalmente reparadas e também apresenta algumas quebras, além de que algumas cristas foram conectadas e não deveriam. Isto não é inesperado utilizando esta técnica e para resolver esta situação seria necessário aplicar outras técnicas de processamento de imagens, que talvez resolveriam o problema, como realizar afinamento ou esqueletização.

Estes conceitos apresentados neste artigo são a base da morfologia matemática. Ela possui muitas outras técnicas, como extração de fronteiras, transformada acerto-ou-erro, afinamento, esqueletização, poda e extração de componentes conexos.

Referências:

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

[VL] Visual-Lab – Instituto de computação. Morfologia Matemática em Análise de Imagens. Acessado em 30/01/2023.

[MM] Matosak, B. M.; Medeiros, N. G; IMGedu – Capítulo 3 Morfologia Matemática. Acessado em 30/01/2023.

The post Morfologia Matemática para Processamento de Imagens appeared first on Visão Computacional.

A operação de segmentação de imagens pode ser facilmente confundida pelas duas operações: identificação de objetos e regiões, e classificação e rotulação. A primeira operação busca extrair objeto da imagem sem saber o que ele é necessariamente, e a segunda classificar o tipo de objeto e região, saber o que é determinado elemento, a quem pertence o tipo do elemento identificado através de rótulos nomeados.

Para entender melhor estas operações, vamos analisar cenários diferentes e posteriormente mencionar algumas técnicas conhecidas para cada tipo de operação.

Cenário 1 e 2 – Detectar objetos e regiões em veículos autônomos

Neste primeiro cenário, explanamos um dos vários problemas que os veículos autônomos precisam lidar, que é segregar/separar a imagem em regiões ou objetos detectados, porém sem a necessidade de saber o que eles são. Esta operação é necessária para que o veículo saiba todos os obstáculos que estão em seu caminho, se possui chão a sua frente ou uma parede, e assim saber como ele pode se descolocar no ambiente.

A grande características desta operação, é que não se precisa saber neste momento, o que é determinada coisa a sua frente, se o elemento é um carro, uma pessoa, uma placa, um poste, um semáforo ou uma moto, por exemplo. Mas sim, saber que existe objetos e regiões, e saber onde estão.

Este tipo de operação é denominado de segmentação de imagem, que consiste em separar a imagem em regiões de interesse com o objetivo de simplificar e/ou mudar a representação de uma imagem para facilitar a sua análise.

Neste cenário, com a segmentação de imagem, o veículo autônomo ao se mover pode monitorar essas regiões e: verificar se são objetos fixos ou se estão se movendo; se estão se movendo e para qual direção estão se deslocando; e identificar se os objetos irão colidir com o veículo.

Uma outra utilidade, para este tipo de operação, é possibilitar separar o solo da imagem para posteriormente analisá-lo, a fim de saber se é uma estrada ou calçada, se é subida ou descida, se é chão de barro ou asfalto.

Para ilustrar este cenário, observe a imagem abaixo com uma segmentação de imagem. Existem diversas técnicas de segmentação e essas técnicas que detectam varias regiões, geralmente não agrupam por tipo de objeto, como foi realizado abaixo. Geralmente são grupos desconexos e não rotulados (sem classificação), porém, na imagem abaixo, os grupos foram rotulados apenas para facilitar o entendimento.

No segundo cenário, continuamos com o exemplo do veículo autônomo, porém, agora vamos analisar as situações em que precisamos identificar e rotular quais são os tipos de objetos a frente do veículo.

Sendo assim, digamos que o veículo precise identificar quais sinais de trânsito estão a sua frente, quais carros e pessoas. Esta operação é denominada de classificação e rotulação, e o resultado esperado é a extração de determinados tipos de objetos, qual sua localização e identificação.

É imprescindível identificar, neste cenário, o que é determinado objeto para a tomada de decisões especiais, por exemplo, ao identificar uma placa de proibido virar a direita, o veículo deve saber que não poderá virar a direita, ao identificar um semáforo, saber se pode ou não prosseguir e se identificar veículos, pessoas ou outros seres, aumentar toda a segurança para não colidir com estes.

Cenário 3 – Detectar documento para realinhamento

Em um cenário mais simples e controlado, digamos que precisamos extrair da imagem a região com determinado documento e identificar suas bordas para realizar alguma técnica de alinhamento.

Neste caso, podemos converter a imagem em tons de cinza, detectar as bordas e linhas retas com técnicas de visão computacional e procurar por regiões retangulares para realizar uma extração do documento da imagem.

As técnicas que detectam bordas e linhas retas, são técnicas de segmentação de imagem.

Cenário 4 – Detectar rostos e realizar reconhecimento facial

Em nosso último cenário, vamos analisar superficialmente um sistema de portaria eletrônica com reconhecimento facial, que habilita a entrada de pessoas em seu apartamento. Neste tipo de sistema é preciso realizar ao menos duas etapas de classificação de imagem.

A primeira etapa necessária é a detecção de rostos na imagem ou câmera digital e segmentação da imagem em subimagens, apenas com os rostos. Este tipo de operação é realizada em tempo real, onde o sistema fica monitorando toda a movimentação da câmera com o objetivo de identificar rostos na imagem, sem a necessidade de saber quem é a pessoa, apenas procurando por rostos.

A segunda etapa a ser realizada, é feita após a identificação do rosto, onde o sistema irá comparar se o rosto identificado é de alguém habilitado a entrar no apartamento e então liberar o acesso. A imagem abaixo busca ilustrar esses dois tipos de problemas de classificação.

Apesar dessas duas etapas serem operações de classificação de imagem, seus objetivos são muito diferentes e para cada uma delas existem soluções diferentes. Para a primeira técnica, a de detecção, existem diversas soluções genéricas capazes de identificar determinado tipo de informação na imagem. Porém na segunda, a de reconhecimento, que exige uma precisão maior, geralmente precisa de uma solução específica para cada situação.

Segmentação de imagem

A segmentação tem como objetivo dividir uma imagem em regiões ou objetos que a compõem. O nível de detalhe, que a divisão é realizada, depende do tipo de problema a ser resolvido. Em resumo, a segmentação deve parar quando os objetos e regiões são encontrados [GW].

A segmentação de imagens não triviais (não obvias), é uma das tarefas mais difíceis no processamento de imagens. A precisão da segmentação que identifique corretamente a localização, a forma dos objetos, a topologia é fundamental para o sucesso final dos procedimentos de análise computadorizadas [GW].

A seguir são apresentadas as principais técnicas de segmentação de imagens, baseadas nos valores de intensidade dos pixels da imagem, com ênfase nas técnicas de detecção de descontinuidades, gradiente, limiarização, identificação de regiões e classificadores.

Detecção de Descontinuidades

Este tipo de técnica particiona a imagem a partir de alterações bruscas nas intensidades de imagens, como pontos, linhas bordas e junções. Uma maneira comum de identificação de descontinuidade, é por meio de aplicações de uma máscara por uma convolução espacial [PS].

Esta técnica analisa a variação de intensidade utilizando uma única camada de cor da imagem, geralmente uma camada em tons de cinza da imagem. Porém, a análise pode ser feita através da representação de uma das cores da imagem, da iluminação, do brilho ou da saturação da imagem.

Observe na Figura 4, a representação A e B das variações de intensidade dos tons de cinza, note que na representação A a mudança de tons de cinza é muito mais abrupta que a representação B. É com base na análise deste variação abrupta que as técnicas de segmentação de imagem por descontinuidade funcionam.

Veja na Figura 5 a aplicação desta técnica, ao aplicar o operador Laplaciano em duas imagens em tons de cinza. Com uma simples técnica de convolução foi possível detectar as bordas de uma imagem.

Gradiente e Bordas

Existem diversas outras técnicas e também operadores capazes de detectar/destacar melhor as bordas em imagens como exemplo, Sobel, Roberts e Canny, e são conhecidos como operações de gradiente, pois realçam a maior variação de gradiente na imagem. Porém, são menos simples de aplicar e realizam operações de derivadas.

Observe na Figura 6 o resultado da aplicação do filtro Sobel na imagem e como ele destacou as bordas na imagem.

Limiarização

Limiarização é um processo de segmentação de imagens que se baseia na diferença dos níveis de cinza, que compõe diferentes regiões de uma imagem. A partir de uma limiar definida a imagem é separada em 2 grupos.

A técnica mais simples de limiarização, consiste em varrer cada pixel da imagem e verificar se o valor do pixel é maior ou menor que uma limiar preestabelecida e gerar uma nova imagem com apenas duas cores. A Figura 7 ilustra a aplicação de uma limiarização simples, com uma limiar de 100.

Existem muitas técnicas de limiarização e todas elas utilizam o histograma da imagem como tomada de decisão. Entre as técnicas mais conhecidas estão o método de Otsu, o método de Seleção Iterativa, a limiarização adaptativa média, a limiarização adaptativa gaussiana e a limiarização global simples.

Segmentação de regiões

Como descrito no começo do post, o objetivo da segmentação é dividir a imagem em regiões e a seguir serão apresentadas as técnicas usadas com esse objetivo.

A primeira técnica apresentada é a técnica de segmentação por crescimento de região. Os métodos de segmentação baseados em região visam reunir em um mesmo conjunto, pixels adjacentes que atendem a um dado critério de diversidade. Desta forma, regiões da imagem são agrupadas ou divididas, dependendo de seus pixels terem ou não características semelhantes em termos de cor, textura ou forma.

Está técnica necessita de ao menos duas informações, uma limiar de similaridade e um conjunto de locais/pontos inicias, que serão utilizados para começar o agrupamento. Para ilustrar, observe a matriz da Figura 8.a, nela foram selecionados 4 pontos de forma aleatória, para iniciar o processo de agrupamento de região. Após selecionar os locais iniciais, foi comparada a vizinhança destes pontos com uma limiar de tamanho 2, caso o valor seja uma diferença igual a este tamanho, a vizinhança será agrupada, conforme ilustra a Figura 8.c. Este processo é repetido até percorrer todos os locais da Imagem.

Neste tipo de técnica existem dois grandes problemas, que são os problemas de todas as técnicas de segmentação, que são: identificar quantos pontos iniciais serão utilizados, ou qual nível/profundidade de segmentação é desejada, e qual o critério ou limiar de similaridade que devemos utilizar.

Observe na Figura 8.d que possuímos também um terceiro problema, que os valores 3 da matriz, não foram agrupados ainda. Porém, dependendo da ordem de processamento, estes valores poderiam ser agrupados com os valores 1 ou com os valores 5, conforme demonstrado nas figuras 8.g e 8.h. Para piorar a situação, talvez o ideal fosse que estes valores estivessem segmentados em uma única região, se tivesse sido iniciado o processo de segmentação com um ponto inicial a mais.

Uma outra técnica é a técnica de divisor de águas Watershed. O método de segmentação calcula o gradiente para todos os pixels da imagem. Imagine que os valores de gradiente formem uma superfície topográfica com vales e montanhas. As regiões mais baixas, conforme Figura 9.c seriam correspondentes as de menor gradiente e as mais altas as de maior gradiente. Os crescimentos de regiões seriam equivalentes a uma inundação feita a partir da abertura de um pequeno furo nas regiões mais baixas. Os segmentos seriam formados por regiões conforme se formam bacias hidrográficas, daí o nome divisor de águas.

E uma última técnica muito interessante, é a segmentação por movimento. O conceito desta técnica é simples, através da análise do deslocamento dos objetos são extraídas as regiões de interessa da imagem. Este tipo de técnica é uma ferramenta poderosa de segmentação em ambiente abertos e cenários não controlados. Não existe uma solução única ou genérica para esta técnica, mas existem diversos trabalhos na literatura com esse objetivo. Abaixo são demostrados os resultados de dois artigos a fim de ilustrar a técnica.

Todas estas técnicas descritas até então, são técnicas que segmentam imagem sem rotulação, ou seja, como resultado da sua aplicação não se sabe o que é o objeto segmentado. A seguir será discutido brevemente o conceito de classificação de imagem, que tem com objetivo rotular a imagem.

Classificação, Detecção e Identificação de objetos

A classificação de padrões ou imagens, visa determinar um mapeamento que relacione as propriedade extraídas de amostras com um conjunto de rótulos, e ao atribuir um mesmo rótulo a amostras distintas, diz-se que tais elementos pertencem a uma mesma classe [PS].

O conceito de classificação está relacionado ao aprendizado de máquina, reconhecimento de padrões e inteligência artificial (IA) que se baseiam na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões para uma variedades de possibilidades. Para simplificar, vamos nos limitar a ideia e ao conceito de classificar imagens através de rótulos, para identificar esse rótulos e detectar algo em outras imagens e vídeos.

Antes de prosseguir, saiba que o conceito de classificação não é considerado parte da área de segmentação de imagens, porém é muito utilizado para este fim, com diversas soluções para segmentar imagens.

Agora, vamos analisar o segundo cenário novamente, onde temos a imagem da vista de um carro para a rua e nela queremos identificar pedestres, carros e sinais de trânsito. Para isto, precisamos ao menos realizar três etapas: criar e coletar uma base de imagens, treinar algum algoritmos de classificação e utilizar o algoritmo treinado para classificar outras imagens.

A tarefa de criação de base de dados é a mais simples das três tarefas, porém muito onerosa, pois demanda muito tempo para se criar uma base de dados e dependendo da precisão desejada essa tarefa se torna uma tarefa continua. Para o cenário 2, a base de dados deve ser criada com no mínimo três informações: a imagens com o que se deseja rotular, a localização de todos os objetos de interesse na imagem para todas as imagens e o nome do rótulo. Dependendo do algoritmo, mais informações são necessárias.

A segunda tarefa de treinamento, de modo geral, consiste em informar a base de dados para ser treinada no algoritmo e aguardar seu treinamento. Esta tarefa costuma ser demorada para ser finalizada, pois exige muito processamento do computador, podendo levar horas ou dias. Caso não se tenha um computador com uma placa de vídeo, é recomendado que a tarefa seja feita em algum computador na nuvem que a tenha.

A última etapa, consiste em utilizar o algoritmo treinado para identificar os rótulas na imagem. Estas três etapas são mais complexas do que isso que foi exposto, porém a ideia geral das técnicas de classificação é essa.

Na Figura 12 é apresentado o resultado do algoritmo YOLO – You Only Look Once, que significa “Você só olha uma vez”. A ideia do YOLO é que ao receber uma imagem a ser rotulada, ele consiga identificar todos os rótulos treinados de uma única vez.

O que “identificar todos os rótulos de uma única vez” quer dizer? Bom, para explicar isso, antes vamos precisar entender outro tipo de técnica. Observe na Figura 13 a ilustração de uma RNA – Rede Neural Artificial, técnica de IA inspirada no sistema nervoso central de um animal (em particular o cérebro). Esta rede neural foi treinada como objetivo de identificar, se na imagem existe um cachorro, um gato ou nenhum dos dois.

Porém, esta rede neural ilustrativa, foi criada de tal forma que só é possível confirmar se na imagem possuir apenas um gato ou um cachorro, caso a imagem possuir mais de um gato, ou um gato e um cachorro, por exemplo, ela não saberá identificar. Para resolver este tipo de problema, boa parte das técnicas de classificação tem como solução, percorrer a imagem em regiões menores, testando cada parte da imagem, a fim de identificar a existência de objetos rotulados, e localizar sua posição, conforme ilustra a figura abaixo.

De volta ao YOLO, sua diferença com a técnica apresentada anteriormente, é que sua mecânica não necessita percorrer a imagem em regiões menores para identificar mais de um rótulo ou objeto, pois utilizando toda a região da imagem ele consegue identificar tantos objetos, quanto sua etapa de treinamento o ensinou. Porém, não quer dizer que dividir a imagem em regiões menores, também não possa ser feito com o YOLO, mas então entraríamos em outras questões, como performance, precisão e técnicas de treinamento.

Existem diversas técnicas de classificação de imagem para rotulação, que utilizam estes dois conceitos apresentados, cada uma com sua característica e vantagem, abaixo trago algumas conhecidas:

• R-CNN – Region-based Convolutional Neural Networks
• SPP-net – Spatial Pyramid Pooling
• Fast R-CNN
• Faster R-CNN
• SSD – Single Shot Detector
• R-FCN

Além das técnicas de classificação, para rotulação de objetos conhecidos, existem diversos estudos que utilizam IA para segmentar a imagem em regiões, conforme descrito no cenário 1 e não foram apresentadas neste post para não delongá-lo, pois seu objeto é transmitir uma visão geral sobre segmentação de imagens.

Caso tenha dúvidas ou sugestões de melhorias no post, deixe seu comentário abaixo.

Referencias:

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

[MSBTV] M. Keuper, S. Tang, B. Andres, T. Brox and B. Schiele, “Motion Segmentation & Multiple Object Tracking by Correlation Co-Clustering” in IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 42, no. 01, pp. 140-153, 2020.
doi: 10.1109/TPAMI.2018.2876253

[VJ] Vertens, Johan et al. “SMSnet: Semantic motion segmentation using deep convolutional neural networks.” 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2017): 582-589.

[VT] Venkatesh Tata. Simple Image Classification using Convolutional Neural Network — Deep Learning in python. Acessado em 14/04/2022.

[DK] Darknet. YOLO: Real-Time Object Detection. Acessado em 15/04/2022.

The post Identificação, Detecção, Reconhecimento e Segmentação de Imagem e Objetos. appeared first on Visão Computacional.

O primeiro passo para entender este universo de possibilidades é entender o que são cores e quais cores nós conseguimos enxergar. Nesta primeira parte, serão explicados conceitos básicos sobre frequência de cores e sua percepção através do olho humano e como funciona o olho humano.

Tudo o que sabemos sobre cores hoje em dia, iniciou em 1660, quando o cientista britânico Isaac Newton descobriu que, ao atravessar um feixe de luz solar num prisma de vidro, o feixe de luz sofria decomposição em uma gama de cores similares às do arco-íris. Newton concluiu que as cores que visualizou, faziam parte da luz solar branca. Logo em seguida, conseguiu demonstrar que, após decompor a luz branca com um prisma, poderia recompor as cores dispersadas com outro prisma invertido obtendo novamente a luz branca. [C] A ilustração da Fig.1, apresenta o espectro de cores produzido neste experimento, dividido em 7 regiões: vermelho, laranja, amarelo, verde, azul, anil, e violeta.

No experimento de Newton, conclui-se, que a cor branca é composta por todas as demais, com o violeta em uma extremidade ao vermelho na outra [GW]. As  cores são formadas, por frequências da radiação eletromagnética e todas estas variações de frequência compõem o espectro eletromagnético conforme ilustrado na Fig. 2.

Por muito tempo, achou-se que a luz era a  única parte conhecida deste espectro, porém ela representa uma parte muito pequena dele. O espectro se estende desde as ondas de baixa frequência, ondas de rádio, até as de maior frequência como as da radiação gama. Todas estas variações de frequências, servem como áreas de aplicação do processamento de imagens.

Uma forma fácil, de compreender a extensão de aplicações de processamento de imagens e possibilidades que um computador consegue enxergar, é categorizar estes espectros como, espectro de luz visível humana, raio x, infravermelho e assim por diante. Porém, ao categorizá-los não devemos esquecer que podemos utilizar mais de uma categoria ao mesmo tempo, como extração de informação. Na parte final deste post, são demonstrados alguns exemplos de informações, passíveis de serem extraídas, ao misturarmos os espectros eletromagnéticos.

Espectro visível da luz

Se observarmos a Fig. 2, percebemos que a variedade de cores que enxergamos é muito pequena, comparada a todo o espectro eletromagnético, também podemos observar que a frequência de radiação do espectro, pode ser interpretada como ondas senoidais, de vários comprimentos diferentes ou também, pode ser vistas como um fluxo de partículas sem massa, cada uma se deslocando em um padrão ondulatório diferente e se movendo na velocidade da luz [GW].  O espectro, pode ser expressado em comprimento de onda, frequência ou energia. Cada partícula sem massa, contém uma certa quantidade de energia. Cada quantidade de energia, é chamada de fóton e a energia é proporcional à frequência, onde, frequências mais altas, apresentam mais energia por fóton [GW]. Desta forma, as ondas de raios gama possuem fótons de mais energia, e na outra extremidade, as ondas de rádio possuem fótons de menos energia.

Todas estas categorias, de frequências de radiação, foram descobertas em um longo período da história. A primeira descoberta de outras frequências de radiação, além da luz enxergada pelos humanos, foi em 1800, quando  Willian Herschel descobriu a radiação infravermelho [IDL]. No ano seguinte, Johann Wilhelm Ritter realizou estudos na outra ponta do espectro visível e percebeu a existência do que ele chamou de “raios oxidantes”, posteriormente de “raios químicos”, e futuramente renomeado para radiação ultravioleta [PEH]. Em 1886, Heinrich Hertz construiu um aparelho para gerar e detectar a existência da radiação eletromagnética (de baixa frequência), na tentativa de provar uma teoria de James Clerk Maxwell, e demonstrou a existência do que chamamos hoje de ondas de rádio  [WG]. Em 1895, Wilhelm Röntgen percebeu um novo tipo de radiação emitida durante um experimento com um tubo com vácuo sujeito à alta voltagem. Ele chamou essa radiação de raios-X e descobriu que eles eram capazes de atravessar partes do corpo humano, mas eram refletidos ou parados por materiais densos, como os ossos [WCR].

Todo este espectro, ilustrado na Fig. 2, é passível de ser capturado por computadores, desde que esteja com um equipamento adequado para isto, mas antes de adentrar a captura do espectro de luz por equipamentos eletrônicos, vamos entender como nós humanos enxergamos.

Sistema Visual Humano

A visão humana, envolve diversas funções complexas, como detecção, localização, reconhecimento e interpretação de objetos e ambientes. Uma vez que procuramos transferir esta capacidade para os computadores, é necessário compreender o funcionamento do sistema visual humano, sob os diversos aspectos psicofísicos e neurofisiológicos, como um primeiro passo na jornada. [PS].

Apesar da complexidade deste tópico, nosso alcance se limitará a aspectos mais rudimentares, concentrando na mecânica relacionada à formação e percepção das imagens pelos humanos.

A Figura 3, ilustra um corte transversal do olho humano. O olho é praticamente uma esfera de 20 mm. O globo ocular é revestido por 3 membranas: a córnea e a cobertura externa esclerótica; a coroide e a retina. A córnea é um tecido externo que cobra a superfície anterior do olho, e a esclerótica um prolongamento da córnea que reveste o restante do globo ocular [GW].

A coroide está localizada abaixo da esclerótica. Esta membrana contém uma rede de vasos que atua como principal fonte de nutrição dos olhos. O revestimento da coroide é fortemente pigmentado, ajudando a reduzir a quantidade de luz indesejada que entra no olho [PS] [GW].

A íris, localizada no exterior da coroide, é a parte mais visível do olho e colorida. Existe um orifício em seu centro, chamado de pupila, cuja função é controlar a quantidade de luz que entra no olho. Em um ambiente com muita luz, ocorre a miose (diminuição do diâmetro da pupila), ao passo que, com pouca luz, ocorre a midríase (aumento do diâmetro da pupila) [CH].

O cristalino, localizado atrás da íris, é uma lente gelatinosa, cuja função é auxiliar a córnea a focalizar a luz. O cristalino é composto por 60% a 70% de água, 6% de gordura e mais proteína que qualquer outro tecido do olho. A distância focal do cristalino é modificada por um anel de músculos, esta movimentação permite focar a visão em objetos próximos ou distantes [GW]. O Cristalino absorve 8% do espectro de luz, a luz infravermelha e ultravioleta são absorvidos consideravelmente por proteínas contidas no cristalino [PS].

A retina

A membrana mais interna do olho, que se estende por toda a parede do olho, é revestida por tecidos nervosos, chamada de retina. A retina é responsável pela sensação de imagem visual e codifica essas informações com sinais nervosos e transmiti-las ao olho. Cada olho, envia ao cérebro uma imagem separada, porém, a imagem é vista como uma só devido a nossa capacidade de fusão [PS] [GW].

A retina é composta por dois tipos de células sensíveis à luz, os cones e bastonetes. Essas células transformam energia luminosa em pulsos elétricos, que são transmitidos ao cérebro.

Os cones são altamente sensíveis a cores e responsáveis por distinguir detalhes nas imagens. Os bastonetes são mais sensíveis à baixa intensidade de luz e permitem uma percepção geral da imagem captada no campo de visão. Os bastonetes não estão envolvidos na percepção de cores [PS] [GW]. De uma forma grosseira, podemos dizer que os bastonetes captam o brilho, luminosidade, o preto e o branco, e os cones a variação de cores que enxergamos.

A retina, possui três tipos de cones, cada um deles responde a um espectro cromático específico. O primeiro, responde à luz de comprimentos de onda longos (564-580 nanômetros), chegando a uma cor vermelha. O segundo tipo responde à luz de comprimento de onda médio (534-545 nm ), atingindo um máximo de uma cor verde. O terceiro tipo responde mais a curto comprimento de onda de luz (420-440 nm), de cor azulada. [PS].

A lente e córnea do olho humano, são limitadas na absorção de comprimentos de onda menores com limite em cerca de 380 nm, que é, portanto, chamado de luz ‘ultravioleta’. O mesmo acontece na outra extremidade, onde o olho humano não consegue enxergar, ou absorver, comprimentos de ondas maiores superiores ao vermelho e portanto não consegue enxergar o infra vermelho.

Formação da imagem no olho humano

O processo de formação, inicia com a luz atravessando a córnea e chega a íris, onde a pupila controla a intensidade de luz a ser recebida pelo olho. Quanto maior a abertura da pupila, maior é a quantidade de luz que entra nos olhos. A imagem chega então ao cristalino, uma estrutura flexível, que acomoda e focaliza imagens próximas ou distantes na retina, que então capta a luz e a cor.

Na região central da retina, está a Fóvea, uma região onde as células nervosas estão afastadas para o lado, permitindo que a luz atinja diretamente os receptores (cones) . Na Fóvea, a acuidade visual é máxima e para manter nítida a imagem de interesse, precisamos focalizá-la constantemente sobre a fóvea e, para isso, os músculos que movem os olhos e o sistema de lentes devem trabalhar juntos e de modo coordenado. A medida que a região se afasta da fóvea a quantidade de cones diminui e a de bastonetes aumenta, até que não haja mais cones. Isso significa, que há um campo visual central e outro periférico distintos: o centro proporciona nitidez e visão colorida e o periférico, menos nitidez [NKOT].

O Que Computadores Podem Enxergar

Agora que já sabemos como nós humanos enxergamos, vamos explorar as diferentes formas que os computadores podem enxergar. Através de equipamentos eletrônicos, os computadores são capazes de captar todo o espectro eletromagnético, basta apenas o equipamento adequado; uma câmera fotográfica para captar a luz; uma câmera térmica para captar a radiação térmica, uma raio x para radiografias e muito mais.

Além de captar a informação, também existem equipamentos capazes de emitir determinada faixa do espectro como emissores infravermelho e raios lazer, que podem ser utilizados junto a sensores para criar câmeras 3D.

Através de diferentes tipos de equipamentos, nós humanos e computadores podemos ver e captar outras informações que vão muito além do que a retina envia ao cérebro. Nesta seção, são abordados diversos eletrônicos disponíveis para captura de imagens e descrito brevemente seu funcionamento.

Câmera fotográfica e filmadora

Sensores e aquisição de imagem

Câmera infravermelha (IR)

Diferente do que muito se imagina, as câmeras infravermelha (IR) não enxergam no escuro, e sim captam um espectro eletromagnético um pouco abaixo do vermelho que nós humanos enxergamos. Este espectro, costuma ser chamado de Near-Infrared (NIR) ou Infravermelho próximo.

Se este tipo de câmera não enxerga no escuro, como ela consegue captar imagens mesmo com a luz apagada? A resposta é bem simples, há uma grande confusão em seu nome Câmera IR, que nos induz a pensar que ela capta o espectro IR, o que não ocorre. Na verdade, este tipo de câmera, possui um emissor infravermelho e deveria se chamar câmera com iluminador infravermelho.

A emissão IR, realizada por estas câmeras, são “luzes”, bem próximo ao espectro vermelho, mas não tão próximo, que nós humanos possamos enxergar, digamos assim. E essas “luzes” são captadas pelas câmeras IR.

As câmeras IR, não capturam o calor das pessoas como se imagina, mas sim o reflexo do IR emitido pela câmera, pois, todo objeto emite sua própria radiação infravermelha.

Após a captura dos sinais infravermelhos, o funcionamento da câmera IR é semelhante ao das câmeras fotográficas comuns: a luz é captada e transmitida para a tela, de uma forma que podemos enxergar, geralmente em preto e branco.

Porém, quando se trata de visão noturna, existem basicamente duas tecnologias disponíveis: as câmeras infra-vermelhas e as câmeras térmicas, as térmicas sim conseguem ver no escuro.

Câmera térmica

Uma câmera termográfica, ou câmera térmica, nada mais é do que um aparelho que possibilita a captura de luz infravermelha com o objetivo de transformá-la em uma faixa visível do espectro. Ou seja, através dela você consegue enxergar as imagens que são feitas a partir da radiação que um determinado objeto emite [IT] e diferente das IR elas enxergam no escuro.

• 

• 

Pare se ter ideia, todo corpo que possui uma temperatura acima do zero absoluto, emite luz infravermelha. Dessa maneira, quanto maior a radiação emitida, maior será a temperatura do corpo em questão. Esse tipo de luz não pode ser vista a olho nu, por estar fora da zona da luz visível [IT].

As câmeras térmicas, funcionam de maneira diferente das emissoras de IR, elas detectam radiação térmica. Com esse nome, é possível pensar, que radiação térmica está apenas relacionada ao calor, porém não é bem assim. Qualquer tipo de radiação é térmica: ondas de rádio, radio-X, luz visível, luz infravermelha, etc. Por isso, a câmera térmica consegue, por exemplo, detectar o calor gerado pelo corpo humano ou um motor, que é de menor frequência . Esse calor, radiado por um corpo, apesar de estar muito abaixo da radiação infra-vermelha, detectada pelas câmeras infra-vermelhas, também é um radiação térmica e assim detectado por câmeras térmicas. [TER]

Dessa forma, as câmeras térmicas não precisam de iluminadores especiais para trabalhar. Essas câmeras não conseguem detectar cores ou variações de radiação. Quando temos câmeras térmicas que mostram cores, na verdade essas cores são artificiais, criadas apenas para indicar as áreas com mais ou menos radiação.

As câmeras termais, por não precisarem de emissor como as IR, têm o limite de distância de visibilidade apenas na qualidade do sensor e na quantidade de radiação térmica, emitidas pelos objetos monitorados.

Uma curiosidade, por questões de segurança pública, para realizar a aquisição das câmeras termais, é preciso um certificado de registro (CR) regulamentado pelo exército. Também é requerido o CR para venda pelo vendedor, para produção e para transporte pela transportadora.

Câmera 3D/Depth IR

Uma outra forma de utilizar emissores de infravermelho, é utilizá-los para captar a informação emitida e criar modelos 3D do ambiente. A câmera de profundidade Azure Kinect DK realiza este processo.

Para criar o ambiente 3D, o Azure Kinect DK realiza a técnica ToF (Tempo de Voo) com o tipo de emissão AMCW (Onda Contínua Modulada em Amplitude). A técnica de tempo de voo registra uma medição do tempo que leva para a luz viajar da câmera para a cena e voltar [MK]. Essas medições são processadas para gerar um mapa de profundidade.

Um mapa de profundidade é um conjunto de valores de coordenadas Z para cada pixel da imagem, medido em unidades de milímetros. Com o mapa de profundidade e as distância de cada pixel da imagem, em relação a câmera, é possível criar um ambiente 3D.

• 

• 

As câmeras 3D por IR, possuem curto alcance e são melhores em ambiente com luz controlada. Pela luz captada ser o infravermelho próximo, ela sofre interferência de luz ambiente, podendo invalidar a captura pelo sensor. Observe a seta na figura acima e a esquerda: a saturação da luz (muita energia), interferiu na captação dos raios NIR.

O mesmo ocorre, quando o sinal do IR é muito fraco e os sensores não conseguem captar o retorno, conforme Figura 11 acima.

Câmera/Scanner 3D/Depth Laser

As câmeras 3D a laser, criam modelos 3D a partir da técnica de tempo de voo, ToF, mencionada na seção anterior. Calculando a distância dos objetos, com base no tempo de resposta, entre o emissor e o sensor eletromagnético.

A grande vantagem do emissor laser é o nível de precisão altíssimo, capaz de capturar diferenças em milímetros de distância. O laser por ser monocromática, ou seja, constituída por radiações de uma única frequência, é muito potente em razão da grande concentração de energia em pequenas áreas (pequenos feixes) [ME].

• 

• 

Os sensores 3D a laser, normalmente são projetados para capturar um feixe de luz ou uma pequena quantidade de pontos disperso. E para montar o modelo 3D, é preciso manusear o sensor na região de interesse.

Câmera 3D/Depth Estereoscópica

Visão estéreo é o ramo da visão computacional, que analisa o problema da reconstrução tridimensional de objetos, a partir de um par de imagens capturadas simultaneamente, mas com um pequeno deslocamento lateral. Esse tipo de técnica, tem como referência o par de olhos humanos e de muitos animais.

Esse deslocamento, entre as duas imagens, gera pequenas diferenças entre as imagens, quase imperceptíveis quando observadas separadamente, mas estas pequenas diferenças, que nos permitem ter uma percepção tridimensional do mundo externo. Definimos par estéreo como o par de imagens capturadas simultaneamente com um pequeno deslocamento de posição da câmara [INE].

Para entender melhor, como o processo de transformação de duas imagens bidimensionais é transformada em uma imagem de profundidade, observe a Figura 15. Note que existem duas imagens diferentes do mesmo homem dentro do quadro preto, com esta diferença e a informação da cor e brilho de cada pixel da imagem, é realizado uma procura de pixels similares nas duas imagens e realizado a triangulação (método para descobrir a distância entre 2 locais) e definido a profundidade de uma região(pixel). Este processo é realizado pixel a pixel da imagem.

• 

• 

Esta técnica, exige um grande processamento computacional e geralmente são realizados por hardwares dedicados a tarefa ou através de placas de vídeo, costumando ser bem desafiadora para área de visão computacional, pois podem existir vários problemas ao realizá-la, como por exemplo, duas regiões possuírem a mesma coloração ou até mesmo, mesmo objetos, ou ainda, existirem espelhos nas imagens, reflexos vistos apenas em uma das câmeras e muitos outros.

Apesar do custo de processamento ser elevado, esta técnica é uma tendência em modelagem 3D e é considerada uma técnica não invasiva, que não requer ação humana e que não intervém ao ambiente, como ocorre com as câmeras IR.

Equipamento de raio-X 

Adentrando na área de medicina, o profissional que deseja trabalhar com visão computacional, deve conhecer os principais equipamentos utilizados para adquirir imagens computadorizas, iniciando pelo conhecido Raio X.

O equipamento de raio-X é um dos mais importantes quando o assunto é diagnóstico por imagem. Servindo para tirar radiografias, que são como fotografias da parte interna do corpo. Por meio dessas imagens, é possível observar estruturas anatômicas, como ossos, órgãos e vasos sanguíneos, sem precisar de cirurgia [JAM].

Atualmente, além do equipamento convencional, com tecnologia analógica, há opções digitais.

O aparelho raio-X convencional, costuma ficar fixo na sala usada para radiografias. Na área superior, fica a ampola de raios X, que tem os componentes responsáveis pela produção da radiação, uma abertura por onde sai o feixe de raios X e colimadores (utilizado para proporcionar uma dosagem radioativa de acordo com as especificações da terapia indicada) [JAM].

Depois de captar as imagens, esse equipamento faz a gravação em um filme, composto por sais de halogeneto de prata. Por isso, para visualizar as imagens colhidas durante a radiografia, é preciso revelar esse filme [JAM].

No equipamento de raio-X digital, a principal diferença está na forma de captação e formação das imagens. O digital capta os dados por meio de uma placa sensível à radiação e em seguida, forma as imagens em pixels em conexão direta ou indireta com o computador [JAM].

A tecnologia digital também possibilita a obtenção de imagens claras com tempo reduzido de exposição do paciente aos raios X [JAM].

• 

• 

• 

• 

Tomografia

A tomografia computadorizada é um exame de imagem não invasivo. É a junção do equipamento do Raio-X com computadores programados capazes de produzir imagens de altíssima qualidade dos órgãos internos [AD].

Por combinar a imagem de múltiplos raio-x, esse exame oferece um estudo muito mais detalhado do que uma radiografia comum. É utilizado para o estudo de diversas partes do corpo e tem a capacidade de diagnosticar diversos tipos tumores. [AD].

Como citado anteriormente, a tomografia e o Raio X são considerados na medicina exames não invasivos, veja um exemplo aqui. Porém isso não é verdade, durante o raio X o ser humano ou animal, é exposto a radiação durante o processo de aquisição da imagem. O fato da pessoa ou animal estar parada, não ser tocada e não precisar fazer nada, não exime o fato dele estar sendo invadida por milhões de raios X.

• 

• 

Ultrassom/Ecografia

Uma outra forma de visualizar partes dos órgãos humanos, é por meio da ultrassonografia ou ecografia, pelo equipamento ultrassom. Esta técnica, diferente de todas as citadas acima, produz imagens a partir do som gerado pelo equipamento, sem a necessidade de utilizar o espectro eletromagnético e sem utilizar radiação ionizante.

O exame é feito com um equipamento chamado de transdutor (dispositivo utilizado em conversão de energia de uma natureza para outra), que é posicionado na área anatômica do órgão que deve ser examinado. O aparelho funciona de modo que emite som e recebe o eco de volta, transformando a energia mecânica em elétrica. É neste processo, que ocorre a formação das imagens no computador [SF].

A ultrassonografia convencional é utilizada para examinar os diversos órgãos do abdômen, área musculoesquelética (músculos e tendões), estruturas superficiais (tireoide, glândulas salivares, mamas), assim como exames cerebrais em recém-nascidos e crianças de até um ano de idade [KZ].

• 

• 

Ressonância magnética

A ressonância magnética registra as imagens através de cortes nas estruturas corporais, de forma semelhante a tomografia computadorizada, mas com mais detalhes e maior nitidez. Sendo que, diferente da tomografia, ela não utiliza radiação ionizante.

A máquina de ressonância magnética (RM), tem um grande ímã que interage com o corpo por meio de campos magnéticos e pulsos de radiofrequência. Assim, cria imagens em alta definição em três planos: horizontal, vertical e com o corpo dividido em camadas. Por não emitir radiação e ser bem completo, o exame tem um custo relativamente alto [CP].

Uma imagem gerada por ressonância magnética, exibe padrões distintos dos tecidos biológicos. Em síntese, a imagem é uma exibição dos sinais de radiofrequência que foram emitidos e captados no processo da geração da imagem [STAR]. A imagem é gerada em três etapas:

1ª Alinhamento: a propriedade magnética dos núcleos de alguns átomos do corpo humano, se orientam em paralelo a um forte campo magnético em que o paciente é colocado.

2ª Excitação: o aparelho de RM emite uma onda eletromagnética, na frequência de cada núcleo de hidrogênio mudando a direção do seu vetor de energia [STAR].

3ª Detecção de Radiofrequência: quando os núcleos de hidrogênio retornam ao estado habitual, emitem ondas eletromagnéticas que são captadas pela máquina de RM [STAR].

No final do processo, a máquina RM, converte os sinais de radiofrequência (ondas sinusoidal) e realiza o processamento computadorizado para gerar as imagens.

• 

• 

Câmera ultravioleta (UV)

Essa faixa de radiação eletromagnética tem um comprimento de onda menor que a da luz visível, mas maior que a dos raios X. É por isso que o nome Ultravioleta é usado. O termo significa “mais alto que o violeta”, já que essa é a cor visível com comprimento de onda mais curto e maior frequência. O funcionamento da câmera UV é idêntico ao da câmera fotográfica normal porém com sensores sensíveis ao ultravioleta.

Abaixo duas imagens captadas por câmeras UV. A esquerda é o trabalho fotográfico de Craig Burrrows que retirou fotos de flores fluorescentes e adaptou a escala de cores para podermos velas, e a direita o trabalho de Thomas Leveritt que filmou pessoas aplicando protetor solar em seus rostos, e demonstrou o resultado da proteção ultravioleta destes protetores com a filmagem.

• 

• 

Câmera multiespectral

A câmera multiespectral são câmeras que capturam o espectro visível de cor e o infravermelho próximo. Em resumo uma câmera fotográfica que também capta o NIR. Existem modelos capazes de captar o ultravioleta.

Normalmente as bandas de luz captadas são azul, verde, vermelho, Infra vermelho próximo e alguns casos UV.

Este tipo de câmera é muito utilizado para sensoriamento remoto de campo e vegetações em geral. Pois existem diversas técnicas capazes de identificar a qualidade da vegetação como: NDVI; EVI; SAVI e; VARI.

Câmera hiperespectral

Esta câmera tem como objetivo coletar e processar informações de todo o espectro eletromagnético. O objetivo da imagem hiperespectral é obter o espectro de cada pixel na imagem de uma cena, com o objetivo de localizar objetos, identificar materiais entre outros.

A quantidade de bandas (cores e categorias de espectros) captadas por essas câmeras varia de equipamento para equipamento iniciando com 5 e ultrapassando 30 bandas espectrais. As possibilidades de uso deste tipo de equipamento são dos mais variados possíveis, seguem exemplos de áreas e aplicações retirados do site Astro34.

Minérios: exploração mineral, gerenciamento de recursos e monitoramento ambiental;

Agricultura: o monitoramento do desenvolvimento e da saúde das culturas;

Geologia: mapear rapidamente quase todos os minerais de interesse comercial;

Astronomia: para determinar uma imagem espectral espacialmente resolvida;

Forças Armadas: detecção de minas terrestres, identificação e capacidade de imagem para agentes de guerra química;

Petróleo: identificar fontes de petróleo na terra;

Ecologia: vigilância e pesquisa histórica de manuscritos;

Pesquisas em áreas como nanodroga entrega e nanotoxicologia;

Pesquisas: pesquisa de vegetação, forense, ciências da vida, análise de alimentos e pesquisa mineral.

• 

• 

• 

Com esta variedade de câmeras, percebemos que o que computadores podem enxergar vão muito além de nossas capacidades. Para o profissional de visão computacional e processamento de imagens é importante saber desta variedade de possibilidades, pois a solução para determinado problema pode ser apenas uma lente diferente.

Referências:

[IE] Info Escola. Espectro Eletromagnético. Acessado em 04 set 2021

[C] CALDAS, J. Museu Interativo da Física da UFPA: Ação educativa com ênfase em divulgação e popularização da História e da Filosofia da Ciência para o ensino de Física. 2015. Trabalho de Conclusão de Curso. Faculdade de Física. Universidade Federal do Pará, Belém, 2015.

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais.
Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

[PEH] HOCKBERGER, Philip E. A History of Ultraviolet Photobiology for Humans, Animals and Microorganisms¶. Photochemistry and Photobiology. [S. l.]: American Society for Photobiology, 1 maio 2007. DOI 10.1562/0031-8655(2002)0760561ahoupf2.0.co2. 

[IDL] International Day of Light; Herschel experiment: the discovery of the infrared. Acessado em 04 set 2021

[WCR] MLA style: Wilhelm Conrad Röntgen – Facts. NobelPrize.org. Acessado em 8 nov 2021.

[WG] Wolfschmidt, Gudrun. Heinrich Hertz (1857-1894) and the Development of Communication. Dezembro de 2007 DOI: 10.13140/2.1.4733.3764

[CH] Chicago, The New Encyclopaedia Britannica, Encyclopaedia Britannica, 2007

[NKOT] Nishida, S.M.; K de Oliveira, F.A.; Troll, J. Como funciona o corpo humano? Acessado em 23 jan 2022.

[TER] Tecnologia E Rede .Diferença entre câmera térmica e câmera infra-vermelha. Acessado em 25 jan 2022.

[IT] InstruTemp. O que é uma câmera termográfica e quando ela pode ser útil .Acessado em 25 jan 2022.

[MK] Microsoft. Câmera de profundidade do Azure Kinect DK. Acessado em 25 jan 2020

[ME] Mundo e Educação. O Raio Laser. Acessado em 25 jan 2020

[INE] Depto. de informática e estatística. Visão Estéreo. Acessado em 27 jan 2020

[JAM] José Aldair Morsch. TIPOS DE EQUIPAMENTOS DE RAIO X E TELERRADIOLOGIA. Acessado em 28 jan 2022.

[AD] Alta Diagnosticos. TOMOGRAFIA COMPUTADORIZADA. Acessado em 28 jan 2022.

[KZ] kozma. Ultrassonografia. Acessado em 28 jan 2022.

[SF] Sergio Franco. ECOGRAFIA (ULTRASSONOGRAFIA):. Acessado em 28 jan 2022.

[STAR] State of The Art Radiology. Ressonância Magnética: Guia Completo e Ilustrado. Acessado em 29 jan 2022.

[CP] Chloé Pinheiro. Ressonância magnética: o que é e para que serve. Acessado em 29 jan 2022.

[A34] Astro34. O que é uma câmera hiperespectral?. Acessado em 31 jan 2022.

The post Cores e Câmeras: Como os humanos enxergam e o que computadores podem enxergar appeared first on Visão Computacional.

Para representar como enxergamos os objetos e o mundo a nossa volta em sistemas computacionais, e então possibilitar que computadores consigam reproduzir de volta estas imagens em seu monitor, ou possibilitar a criação de ferramentas de edição de imagens, ou sistemas que analisam imagens de forma inteligente, é preciso entender o conceito de domínio e suas possibilidades.

À primeira vista, ao trabalhar com imagens, durante a criação de sistemas e ferramentas de processamento de imagens, pensamos que será utilizado unicamente os pixels, menor elemento de uma imagem, como fonte de informação. Porém, os dispositivos de aquisição de imagem e técnicas de análise de imagem, permitem que os computadores vão muito além, que enxergar uma imagem apenas com suas cores.

Uma das várias formas que permitem os computadores enxergarem o mundo de forma diferente, é a representação de como disponibilizamos a informação para o computador, o domínio de uma função é uma destas formas.

Domínio de uma função, em matemática, nada mais é do que o conjunto de dados de entradas para uma função. Ou seja, uma função fornece uma saída de dados para cada conjunto de dados de entrada.

A seguir, são descritos os dois principais domínios de funções utilizados no processamento e análise de imagens: o domínio de espaço e domínio de frequência. Também é descrito o conceito de transformada, utilizada para intercambiar entre os domínios e alguns experimentos. Este artigo, tem como objetivo introduzir o usuário ao conceito de domínio de espaço e frequência, e nele não serão detalhadas características matemáticas.

Domínio de Espaço

O domínio espacial refere-se a matriz de pixels da imagem digitalizada, geralmente contendo apenas as informações para reproduzir a imagem novamente em monitores. O pixel é a menor informação disponível em uma imagem (ver Fig 1).

Cada pixel, da imagem, geralmente contém as cores da imagem, mas também pode conter apenas sua representação em tons de cinza, ou até mesmo a informação multiespectral da imagem, como o espectro infravermelho, os raios gama e X, caso a câmera fotográfica consiga capturar essas informações.

Toda operação no domínio de espaço de uma imagem, utiliza a informação do pixel ou do pixel e seus vizinhos, para modificar a imagem. Em uma operação de adição de brilho, por exemplo,  pode-se utilizar apenas a informação de um pixel de cada vez, para realçar o brilho da imagem, e em uma operação para esboçar (blur) é utilizada a informação do pixel e seus vizinhos. As funções de processamento de imagens no domínio espacial podem ser expressas como [MV]:

g(x,y) = T [ f(x,y) ]

Onde: g(x,y) é o pixel da imagem de saída (processada), f(x,y) o pixel da imagem de entrada e T é a função ou operador que opera sobre o pixel (x,y) e sua vizinhança.

As operações realizadas no domínio de espaço são denominadas de operações pontuais, operações locais e transformações geométricas. As operações geométricas não são descritas neste artigo.

Operações pontuais

As operações pontuais utilizam apenas a informação (intensidade) de um único pixel como entrada de informação. Observe na Fig. 2 a área demarcada na imagem de entrada, em operações pontuais é utilizado apenas o pixel da posição (x,y) como entrada da operação que irá alterar o mesmo pixel da posição (x,y)  na imagem de saída.

Operações básicas que modificam o contraste, o brilho ou a saturação são alguns exemplos de operações locais.

Operações locais

Em operações locais, o resultado de uma operação dependerá do valor do pixel de entrada e também dos seus pixels vizinhos. Observe na Fig. 3, que para gerar cada pixel g(x,y), destacado em verde, na imagem de saída a função recebe o mesmo pixel da imagem de entrada f(x,y) e também os seus pixels vizinhos.

A seguir é apresentado o conceito de filtro espacial. A filtragem espacial é uma das principais ferramentas utilizadas em processamentos de imagens para uma ampla gama de aplicações, como suavização, nitidez, destaque e aperfeiçoamento de bordas.  O filtro espacial consiste em realizar uma operação sobre os pixels da vizinhança e criar um novo pixel, com as coordenadas iguais às coordenadas do centro da vizinhança, e cujo valor é o resultado da operação de filtragem [GW]. O valor do pixel filtrado geralmente é atribuído à uma nova imagem, para não modificar a imagem original enquanto o filtro continua sendo realizado.

Na ilustração da Fig. 4 é demonstrado o funcionamento básico de um filtro no domínio espacial.  Através de uma imagem de entrada é percorrido todos os pixels da imagem, informado uma coeficiente de entrada para o filtro, aplicado o filtro na posição do pixel de entrada e por fim devolvido o resultado do filtro na mesma posição do pixel de entrada em uma nova imagem.

Os filtros no domínio espacial são classificados de duas formas, filtros lineares e filtros não lineares. Os filtros também podem ser classificados como filtros passa-baixa e filtros passa-alta, em alusão aos filtros do domínio da frequência, melhor descritos na Seção Domínio de Frequência. 

Filtros lineares

São considerados filtros lineares, os filtros que realizam operações lineares sobre os pixels da imagem [GW]. Em matemática um operador linear é uma transformação linear em um espaço vetorial (nele mesmo).  O processo de filtragem linear é realizado por uma operação chamada de Convolução e Correlação.

Convolução e correlação espacial

A convolução e correlação são operações de vizinhança, em que cada pixel de saída é a soma ponderada dos pixels vizinhos de entrada por uma matriz de pesos. A matriz de pesos é chamada de núcleo (kernel) de convolução, também conhecido como filtro. O funcionamento da convolução e correlação são os mesmos, exceto que na convolução o primeiro filtro deve ser rotacionado a 180° [GW].

Conforme ilustrado na Fig. 5, o filtro linear realiza as seguintes etapas para calcular o pixel de saída da posição (6,5):

1. Coleta o coeficiente de entrada(pixels vizinhos) do filtro;
2. Gira o núcleo de correlação 180 graus sobre seu elemento central para criar um núcleo de convolução;
3. Multiplica cada peso do núcleo de convolução pelo seus respectivos pixels de entrada;
4. Soma os produtos individuais e aplica o resultado em uma imagem de saída.

No fim do processo, o filtro avança para o próximo pixel da imagem.

Ao realizar o filtro de convolução, com um núcleo superior ou igual a uma matriz 2×2, é preciso ajustar a imagem de saída, durante a filtragem, para que ela seja expandida com a quantidade de pixels iguais à quantidade de pixels adjacentes da posição central da imagem. Após a filtragem a imagem deve ser retraída ao seu tamanho original.

Na ilustração da Fig.6, são demonstradas as aplicações de dois filtros em sua forma discreta, o filtro gaussiano e o filtro Laplaciano, com núcleo de tamanho 3 x 3.  O filtro gaussiano tem como característica, reduzir os ruídos das imagens e possui o efeito de borrão. O filtro Laplaciano destaca regiões de rápida mudança de intensidade, portanto, é frequentemente usado para detecção de bordas. Normalmente o filtro Laplaciano é utilizado após a imagem ser suavizada com outro filtro, como o gaussiano, nesta ilustração não foi utilizado esta suavização.

Importante ressaltar que você pode encontrar na literatura os termos filtro de convolução, máscara de convolução ou kernel de convolução. Como regra, esses termos são utilizados para expressar um filtro espacial, e não necessariamente o filtro para uma convolução. Da mesma forma a expressão “realizar a convolução de uma máscara” é utilizada para expressar o processo de deslocamento e soma dos produtos e não diferencia entre correlação e a convolução [GW].

Filtros não lineares

O que difere os filtros não lineares dos filtros lineares é que os valores dos pixels utilizados nesses filtros são combinados com alguma função não linear [BB]. Por exemplo: a função max, que coleta o pixel de maior intensidade em sua vizinhança; a função min que coleta o pixel de menor intensidade; as funções média, moda, mediana, entre outras.  Uma forma de identificar alguns tipos de operações não lineares, é observar se nela existe alguma condição e uma ou mais variáveis locais mutáveis. Observe a função max, conforme ilustração da Fig. 7 , para ela identificar se determinado pixel é maior que outros de sua vizinhança, ela realiza uma condição de comparação entre os pixels vizinhos, onde compara 2 pixels e armazena o pixel de maior valor em uma variável local e depois utiliza esta variável para a próxima comparação, repetindo o processo até o último pixel da vizinhança, neste processo a variável local pode sofrer diversas alterações.

Outros exemplos de filtros não lineares são os filtros de gradiente Roberts e Sobel,para identificação de bordas em imagens. Os filtros não lineares identificam bordas, linhas, manchas e aplicam modificações sem se preocupar com níveis de cinza da imagem de origem.

Domínio de Valor

Utilizado apenas para referenciar o pixel da imagem ou a menor informação útil da imagem. O Domínio de valor nada mais é que uma expressão, não um domínio, para relacionar funções que utilizam apenas um pixel para realizar operações aritméticas na imagem. Por exemplo, uma operação de adição ou subtração que modifica um pixel de cada vez, sem utilizar as informações de seus pixels vizinhos.

Transformada

Em matemática, uma transformação é uma função f (geralmente com algum suporte geométrico) que mapeia um conjunto X para si mesmo f : X → X. Os exemplos incluem transformações lineares de espaços vetoriais e transformações geométricas, que incluem transformações projetivas, transformações afins e transformações afins específicas, como rotações, reflexos e translações [GW]. A transformada resulta na alteração da representação inicial da imagem, de modo a prover informações que permitam analisar a imagem de outra forma [PS].

A transformada espacial de vetores, altera o domínio de uma função para outro tipo de domínio, resultando em uma nova forma de representar os valores dos vetores. Um exemplo de transformada é a transformada de Fourier que consiste em transformar a representação da imagem no domínio espacial para o domínio da frequência. A seguir, é apresentado superficialmente esta transformada e também como aplicar filtros no domínio da frequência.

Domínio de Frequência

Em 1822, o matemático francês Hean Baptiste Joseph Fourier publica em seu livro “A teoria analítica do calor”, contribuição pela qual ele é mais lembrado. Fourier, neste livro, afirma que qualquer função periódica pode ser expressa como a soma de senos e/ou cossenos de diferentes frequências, cada uma multiplicada por um coeficiente diferente [GW]. A transformada de Fourier, tem como objetivo a transformação de um sinal (função) do domínio do espaço para o domínio de frequência [GW]. Essa transformada foi utilizada inicialmente no processamento de sinais e em funções unidimensionais. Posteriormente, sua versão 2D, prevê informações a respeito das intensidades de cinza, ou um espectro de cor, e passou a ser utilizada no processamento e análise de imagens [PS].

Em processamento de imagens, o domínio da frequência representa a variação de intensidade entre os pixels. Em um cenário em que um pixel tenha a cor branca (alta intensidade) e seus vizinhos sejam pretos (baixa intensidade), a relação de frequência deste pixel branco em relação aos pixels pretos é tido como alta, pois suas intensidades são distantes entre si. Por outro lado, para um pixel cuja intensidade seja relativamente baixa, cinza escuro, e seus pixels vizinhos sejam de cor preta, a relação de frequência destes é baixa.

Na ilustração da Fig. 7, é demonstrado os espectros de magnitude após realizar a transformada de Fourier (através da função DFT) das imagens de entrada. Observe nesta ilustração, que as figuras 2a e 2b, as figuras 3a, 3c, 4a e 4c, e as figuras 1e, 2e e 3e possuem exatamente o mesmo espectro de magnitude. Isto ocorre, porque independente da localização dos pixels na imagem, eles possuem a mesma variação de intensidade em relação aos seus vizinhos. Este espectro é um das características da transformada de Fourier.

Os filtros no domínio da frequência são realizados de uma forma bem simples, que consiste em realizar a transformada de Fourier, aplicar o filtro e realizar a transformada inversa de Fourier, conforme ilustra a Fig. 8.

As baixas frequências na transformada, são relacionadas a componentes com variação de intensidade lenta (suave), como paredes de uma sala, por exemplo. Por outro lado, altas frequências são relacionadas a ruídos e bordas. Desta forma, um filtro que deixe passar baixas frequências, possui o efeito de borrar a imagem e um filtro que deixe passar altas frequências possui o efeito de realçar detalhes abruptos e provocaria uma redução do contraste da imagem [GW]. A seguir, são melhor detalhados estes filtros.

Filtro de Passa Baixa

O efeito de um filtro passa-baixa é o de suavização de imagem, uma vez que as frequências altas que correspondem às transições abruptas são reduzidas. A suavização tende a diminuir o efeito de ruídos na imagem,  que possuem uma alta variação de intensidade e serão ignorados pelo filtro, porém o filtro causa o efeito de borramento e pode resultar na perda de detalhes finos [PS].

Para entender o efeito dos filtros passa-baixa, observe a ilustração da Fig. 9. Nela foi realizada a transformada da imagem (a) do domínio de espaço para o domínio da frequência, utilizando a função DFT (Discrete Fourier Transforms – Transformada discreta de Fourier). Após a transformação, note que no centro da imagem (b) estão contidas as informações das baixas frequências da imagem em seu domínio espacial. Ao realizarmos um corte e mantermos apenas as informações centrais no domínio da frequência, conforme imagem (c), estaremos mantendo apenas as informações de baixa frequência da imagem.

Filtro de Passa Alta

O filtro passa alta pode ser entendido como uma operação inversa ao passa baixa e são normalmente usados para realçar os detalhes na imagem. É um filtro que permite a passagem de frequências altas e reduz a amplitude de frequências baixas. Observe na Figura 10, os efeitos produzidos ao manter apenas as altas frequências  das imagens originais (a). A imagem final (c) destacou as bordas dos objetos, este efeito ocorre porque é na alta frequência que estão armazenados os maiores detalhes das imagens.

Nos exemplos das ilustrações Fig. 10, 11 e 12 são demostrados alguns efeitos ao aplicar determinado núcleo de convolução diretamente no filtro de domínio da frequência e posteriormente mesclado a imagem resultante com a imagem de entrada. Clique nas ilustrações para ampliá-las.

Outros tipos de Domínios

Além destes domínios descritos neste artigo, existem outros tipos de transformadas conhecidas que alteram o domínio da imagem, como por exemplo:

• A transformada discreta de Hartley, proposta em 1942 por Hartley, que possui propriedades semelhantes a transformada de Fourier e necessita de computação real (hipotéticas máquinas de computação que usam números reais com precisão infinita). Aproximadamente 40 anos depois, Bracewell propôs uma versão discreta denominada DHT. A DHT começou a despertar o interesse da comunidade de processamento de sinais [PS].
• A transformada de Hough (HT) desenvolvida por Paul Hough em 1962 é um método para detecção de formas que são facilmente parametrizadas (linhas, círculos, elipses, etc.) em imagens computacionais.
• Transformada Wavelet foi apresentada em 1909 por Haar e é muito utilizado na compressão de imagens.

Comentários finais

Uma das melhores formas de entender melhor os efeitos destes domínios é testando operações e funções que alteram a imagem, pois uma mesma operações pode produzir diversos efeitos diferentes depentendo da imagem de entrada utilizada.

O domínio da frequência, tem a natureza mais complexa, porém, ele é fundamental para quem tem como objetivo trabalhar com processamento de imagens e não necessariamente com visão computacional, pois trabalhar com processamento de imagens, requer mais cuidados com a qualidade final da imagem e entender este domínio pode auxiliar na aplicação de filtros, técnicas de compreensão e redimensionamento de imagem. 

O domínio de espaço, com sua natureza mais simples, possui a maior quantidade de funções, operações e técnicas de imagens, porque ele representa a imagem em si. Este domínio, deve ser completamente entendido, para trabalhar com qualquer foco na área de visão computacional e processamento de imagens.

Espero que o post possa ter o ajudado. Deixe seu comentário e dúvidas abaixo.

Source:
https://github.com/visaocomputacionalexemplos/dominiovalorespfreq

Referencias:

[BB] BURGER, W.; BURGER, M. J. Digital Image Processing: An Algorithmic Introduction Using Java, Springer, 2005

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais.
Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[MV] MARQUES FILHO, O.; VIEIRA NETO, H. Processamento Digital de Imagens, Rio de Janeiro:Brasport, 1999

[GM] GANYUSHKIN, O;  MAZORCHUK, V. Classical Finite Transformation Semigroups: An Introduction. Springer Science & Business Media, 2008

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

The post Domínios de Valor, Espaço e Frequência appeared first on Visão Computacional.