Neste artigo, será apresentado como utilizar a morfologia para extração do esqueleto de uma imagem binarizada. Acesse Morfologia Matemática para Processamento de Imagens, para entender sobre erosão e dilatação, operações que são a base dos cálculos apresentados a seguir.

Transformada do eixo-médio

A transformada do eixo-médio, proposto por Blum (1967), determina o conjunto de pontos que estão mais próximos da borda do objeto. De uma maneira formal, o eixo médio de um objeto é composto pelos centros das maiores circunferências que cabem no objeto. A figura 1 ilustra essa definição para um retângulo [PS].

Embora a transformada do eixo médio resulte em um esqueleto aceitável. Sua utilização na prática resulta em um problema em termos computacionais. Tal implementação envolve o cálculo da distância entre cada ponto interior e da borda do objeto. Diversos algoritmos foram propostos para tentar melhorar a eficiência desta transformada [PS].

Outros exemplos de objetos e seu esqueletos são demonstrados na figura 2. Pode-se observar, nas duas primeiras imagens, que objetos e formas diferentes podem ter o mesmo esqueleto.

Transformada de distância

A transformada de distância corresponde ao mapa resultante da distância entre cada ponto interior do objeto e de sua borda mais próxima [PS]. Essa transformação depende do tipo de cálculo de distância utilizado.

Um exemplo do processo da transformada de distância é ilustrado na figura 3, o esqueleto do objeto, formado pelos valores mais altos de distância, corresponde às regiões mais claras. O cálculo de distância utilizado é a distância euclidiana.

Na figura 4, é ilustrada uma imagem binária, sua representação da transformada euclidiana e seu esqueleto criado, a partir dos valores mais altos (pontos claros).

Processo de esqueletização com morfologia matemática

A esqueletização de uma imagem binarizada por morfologia, apresentada a seguir, tem como base a transformada de distância. Todo o processo é bem simples, com apenas duas operações morfológicas e uma subtração, encadeadas em um laço é possível extrair o esqueleto.

Observe a imagem binarizada A e o elemento estruturante B, logo abaixo. Nas linhas seguintes, observe que:

• A primeira coluna apresenta a erosão por B da imagem da linha anterior;
• A segunda coluna apresenta a dilatação da imagem da primeira coluna por B. A segunda coluna, também, corresponde a abertura da imagem da primeira coluna da linha anterior;
• A terceira coluna apresenta a subtração da primeira coluna da linha anterior pela segunda.

Por fim, na última linha, a imagem da terceira coluna de título “Resultado” apresentada a soma de todas as imagens da terceira coluna. Observe que essa somatória resultou no esqueleto da imagem retangular A.

Erosão por B

Dilatação da 1ª coluna por B

Subtração da 1ª coluna da linha anterior pela 2ª coluna

Exemplos

A seguir, duas demonstrações de esqueletização, da palavra “OpenCV” e de uma imagem da digital de um dedo. O processo de extração do esqueleto da Figura 8 é carregar a imagem, suavizar a imagem com o filtro gaussiano, converter em tons de cinza, limiarizar/binarizar a imagem e extrair o esqueleto.

Referências

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

[LQ] Li, Quannan et al. “Skeleton Extraction Using SSM of the Distance Transform.” (2008).

[RSA] R. Fisher, S. Perkins, A. Walker and E. Wolfart. Skeletonization/Medial Axis Transform. Acessado em 01/05/2023

[FA] Félix Abecassis – OpenCV – Morphological Skeleton. Acessado em 02/05/2023

The post Morfologia Matemática – Esqueletização de imagem appeared first on Visão Computacional.

A extração de fronteiras, com morfologia, consiste em destacar as fronteiras da área de interesse (Roi) de uma imagem. Na Fig.1 é ilustrado o resultado de uma extração interna de fronteira.

Basicamente existem dois tipos de extração de fronteiras, as fronteiras internas e as fronteiras externas, sendo uma contraponto da outra.

Fronteira interna

Definição: β(A) = A – (A _^⊖ B)

A fronteira interna é o contorno da imagem binarizada. O cálculo consiste em subtrair da imagem, o resultado da erosão da própria imagem por um elemento estruturante.

Observe nas figuras abaixo, que a partir da imagem A, foi realizada sua erosão pelo elemento estruturante B. Como resultado desta operação, temos apenas os pixels interno da imagem, conforme a imagem da terceira coluna. Com a erosão realizada, basta subtrair da imagem A por esta erosão, resultando apenas os pixels que estão na Imagem A e não estão na sua erosão.

Fronteira externa

Definição: β(A) = (A _^⊕ B) – A

A fronteira externa, na imagem binarizada, cria uma camada como uma vestimenta que cobre toda a imagem. O cálculo consiste em dilatar a imagem por um elemento estruturante e subtrair pela imagem original.

Observe nas figuras abaixo, que a partir da Imagem A, foi realizada sua dilatação pelo elemento estruturante B. Como resultado desta operação, temos a imagem A mais uma camada externa à ela, conforme imagem da terceira coluna. Com a dilatação realizada, basta subtrair a dilatação pela Imagem A, resultando apenas nos pixels externos, que estão na imagem dilatada e não estão na imagem A.

Outros exemplos

Na ilustração da Tabela 01 são demonstrados os resultados das extrações de fronteiras, com os elementos estruturantes apresentados anteriormente.

Imagem original	Fronteira interna	Fronteira externa

A seguir, uma demonstração do resultado da extração de fronteira de uma imagem limiarizada, de um pote sobre uma mesa. O resultado desta operação, foi detectar as bordas da imagem. Esta demonstração foi realizada utilizando a IDE OpenCV-Flow.

Referências:

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

The post Morfologia Matemática – Extração de Fronteiras / Detecção de Bordas appeared first on Visão Computacional.

Este artigo trata de como programar as operações morfológicas binárias apresentadas no post Morfologia Matemática para Processamento de Imagens. A programação foi realizada na linguagem javascript, utilizando a biblioteca opencv.js e as imagens produzidas com a IDE OpenCV-Flow.

OpenCV

A biblioteca opencv.js disponibiliza diversas funcionalidade prontas para o processamento de imagens e visão computacional. Para utilizá-la, basta incluí-la no script da página conforme descrito em Using OpenCV.js.

Utilizaremos a classe Mat do OpenCV para realizar a manipulação da imagem, com esta classe conseguimos construir de forma fácil imagens (coloridas e binárias) e manipular seus pixels.

Erosão

A erosão como apresentado no outro post citado, consiste em testar se o elemento estruturante (núcleo) se encaixa na imagem de origem, gerando uma nova imagem de destino, onde cada teste realizado com sucesso, é identificado na imagem de destino com o valor 1 e identificado com o valor 0 caso a estrutura não tenha sido localizada. 

A primeira etapa que iremos realizar é criar o núcleo de operação com o formato de quadrado. O elemento estruturante deve ser uma imagem binárizada (preto e branco), como não temos imagens binárias no OpenCV, criaremos uma imagem em tons de cinza.

Na função nucleoFormatoCruz, abaixo, é criada uma matriz de tamanho 3×3, com um canal de cor do tipo uint8, com valores entre 0 e 255:

function nucleoFormatoCruz() {
  return new cv.matFromArray(3, 3, cv.CV_8UC1, [
    1, 1, 1,
    1, 1, 1,
    1, 1, 1
  ]);
}

Além do núcleo das operações, vamos precisar da posição central das operações, sendo que no OpenCV é utilizada a classe cv.Point para indicar posições específicas, com o objetivo de seguir o padrão, nosso código também ira utilizá-la. Para inicializar a classe, é preciso apenas informar as posições das coordenadas x e y, conforme abaixo:

const centro = new cv.Point(1, 1);

Agora que temos nosso núcleo e sua posição, nossa função de erosão foi programada com as seguintes etapas:

• Percorre todas as posições dos pixels da imagem;
• Para cara pixel da imagem, percorre todos os elementos do elemento estruturante e testa a estrutura na imagem conforme as etapas:
  • Verifica-se se o elemento do núcleo possui valor e:
    • Se o elemento possuir valor, verifica a posição correspondente na imagem também possui valor e:
      • Se o pixel possuir valor, verifica o próximo elemento;
      • Se o pixel não possuir, marca o teste como negado;
  • Se o elemento não possui valor, verifica o próximo elemento;
  • Ao finalizar todos os testes dos elementos, do núcleo na região do pixel, e caso nenhum for negado, marca na imagem de destino o valor 255, do contrário marca como 0;

function erosao(nucleo, centro, imagem, imagemSaida) {
  //Percorre a imagem
  for (let x = centro.x; x < imagem.cols; x++) {
    for (let y = centro.y; y < imagem.rows; y++) {

      let hasNucleo = true;
      //Percorre o elemento estruturante (núcleo)
      for (let j = 0; j < nucleo.cols; j++) {
        for (let k = 0; k < nucleo.rows; k++) {
          
          //Verifica-se se o elemento do núcleo deve ser checado
          const nucleoTemValor = nucleo.ucharPtr(k, j)[0] > 0;
          if (nucleoTemValor) {
            const col = x + j - centro.x;
            const row = y + k - centro.y;

            //Verifica-se se a imagem tem valor na mesma posição do núcleo
            const imagemTemValor = imagem.ucharPtr(row, col)[0] > 0;
            if (!imagemTemValor) {
              hasNucleo = false;
              break;
            }
          }
        }
      }

      imagemSaida.ucharPtr(y, x)[0] = hasNucleo ? 255 : 0;
    }
  }
}

Dilatação

A dilatação consiste em testar cada elemento da imagem de origem e verificar se possui valor 1, caso exista na imagem de destino, então é adicionado os valores do elemento estruturante a partir da posição central do elemento estruturante.

A programação da dilatação é menos complexa que a da erosão, nossa função realiza apenas as seguintes etapas:

• Percorre todas as posições dos pixeis da imagem;
• Para cara pixel da imagem:
  • Verifica-se se o pixel possui valor e:
    • Caso possuir, percorre os elementos do núcleo e os projeta na imagem de destino;
    • Caso não possuir, não realiza nenhuma operação;

function dilatacao(nucleo, centro, imagem, imagemSaida) {
  //Percorre a imagem
  for (let x = centro.x; x < imagem.cols; x++) {
    for (let y = centro.y; y < imagem.rows; y++) {

      //Verifica-se se o pixel da imagem possui valor positivo
      const pixelComValor = imagem.ucharPtr(y, x)[0] > 0;
      if (pixelComValor) {

        //Percorre o elemento estruturante (núcleo)
        for (let j = 0; j < nucleo.cols; j++) {
          for (let k = 0; k < nucleo.rows; k++) {
            
            //Verifica-se se o elemento do núcleo tem valor positivo
            const nucleoTemValor = nucleo.ucharPtr(k, j)[0] > 0;
            if (nucleoTemValor) {
              const col = x + j - centro.x;
              const row = y + k - centro.y;

              imagemSaida.ucharPtr(row, col)[0] = 255;
            }
          }
        }
      }
    }
  }
}

Abertura

A abertura de uma imagem A, por um elemento estruturante B, é simplesmente a operação de erosão de A por B, seguida da dilatação de A por B. Como a abertura é apenas o encadeamento de duas operações, nosso código de exemplo faz apenas isto.

function abertura(nucleo, centro, imagem, imagemSaida) {
  let imgTemporaria = new cv.Mat( imagem.rows, imagem.cols, imagem.type(), new cv.Scalar(0));
  
  erosao(nucleo, centro, imagem, imgTemporaria);
  dilatacao(nucleo, centro, imgTemporaria, imagemSaida);

  imgTemporaria.delete();
}

Fechamento

O fechamento de uma imagem A, por um elemento estruturante B, é simplesmente a operação de dilatação de A por B, seguida da erosão de A por B. Como o fechamento também é apenas o encadeamento de duas operações, nosso código de exemplo faz apenas isto também.

function fechamento(nucleo, centro, imagem, imagemSaida) {
  let imgTemporaria = new cv.Mat( imagem.rows, imagem.cols, imagem.type(), new cv.Scalar(0));

  dilatacao(nucleo, centro, imagem, imgTemporaria);
  erosao(nucleo, centro, imgTemporaria, imagemSaida);

  imgTemporaria.delete();
}

Considerações

As funções programadas neste post possuem caráter de estudo, afim de entender as etapas e os processos morfológicos, pois não foram pensadas em questões como desempenho nestes exemplos. Caso você precise utilizar este tipo de operação, é recomendado que utilize uma biblioteca preparada para isso, como o OpenCV ou similar.

O código aqui apresentado esta disponível no link abaixo:

Source code: https://github.com/visaocomputacionalexemplos/morfologia/blob/main/javascript/base/morfologia.html

The post Programando Erosão, Dilatação, Abertura e Fechamento Morfológica com Javascript. appeared first on Visão Computacional.

A morfologia também pode ser utilizada para extração de componentes conexos, busca de padrões específicos na imagem, delimitação de fecho convexo, extração de bordas entre outros [PS].

Neste post é apresentado um resumo sobre morfologia matemática, sem detalhar suas fórmulas matemáticas.

Imagem Digital e Binária

Uma imagem digital é formada por uma quantidade finita de amostras de uma cena, capturada pela lente de uma câmera, também pode ser chamada de imagem discreta e é representada como subconjunto do plano cartesiano Z², onde Z representa o conjunto dos números inteiros. Cada amostra da imagem, conhecida como pixel, está localizada em uma coordenada (x, y) da imagem, associada alguma informação sobre a cor [VL].

Uma imagem binária é composta por dois tipos de pixels, os do plano de fundo e o plano principal, que são representados normalmente usando preto e branco, ou 0 e 1, respectivamente [VL]. Normalmente representam a área de interesse durante o processamento morfológico.

Neste artigo é apresentada a morfologia matemática binária (em imagens binárias).

Elemento Estruturante

Um conceito importante na morfologia matemática é a definição de elemento estruturante, também chamado de núcleo. O elemento estruturante é um vetor bidimensional pré-definido, representado por zeros (0) e uns (1), com uma coordenada indicando o centro da operação e pode assumir diversas formas e aspectos, dependendo do tipo de efeito desejado a ser aplicado na imagem.

A seguir, são demonstrados 3 diferentes vetores de elementos estruturantes e suas imagens representativas, com o centro de operação destacado em vermelho.

[1, 1, 1,
1, 1, 1,
1, 1, 1]

[0, 1, 0,
1, 1, 1,
0, 1, 0]

[1,
1,
1]

A ideia básica da morfologia binária é sondar uma imagem com o elemento estruturante pré-definido, analisando como essa forma se encaixa ou não nas formas da imagem.

Erosão e Dilatação

A erosão e a dilatação são dois operadores fundamentais em Morfologia Matemática, muitos operadores morfológicos mais sofisticados se baseiam nestas duas operações.

Erosão

Símbolo / Representação : ⊖

Definição: A _^⊖ B = { z | (B)_z ∩ A^c = ∅ }

A erosão consiste em testar se o elemento estruturante se encaixa na imagem de origem, gerando uma nova imagem de destino, onde cada teste realizado com sucesso, é identificado na imagem de destino com o valor 1 e identificado com o valor 0 caso a estrutura não tenha sido localizada. Os valores 0 e 1 podem ser substituídos por outros valores, caso necessário.

O efeito prático do processo morfológico chamado erosão, consiste na modificação das feições da imagem, diminuindo-as em seu entorno, literalmente “erodindo-as” [MM].

Observe na ilustração a seguir, o passo a passo da erosão da imagem, de tamanho 11×11, pelo elemento estruturante, de tamanho 3×3. O processo inicia pelo teste do elemento estruturante na parte superior esquerda da imagem, onde é verificado se cada elemento do núcleo é encontrado da imagem. Para isso, é verificado se cada um dos elementos [1, 2, 3, 4, 5, 6, 7, 8, 9] do núcleo estão contidos nos elementos de coordenada [(1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)] da imagem, e registrado o valor 1 (branco) na imagem de destino caso todos os elementos sejam encontrados, como o teste não passou, na imagem de destino é registrado o valor 0 (preto). Então, é deslocado a verificação do núcleo para os próximos elementos da imagem, até que todos sejam testados.

A seguir, na ilustração da Fig. 6, é exibido um exemplo de erosão morfológica de uma imagem de placa de circuitos. Neste exemplo vamos tentar remover todos os circuitos e manter apenas suas extremidades. O primeiro processo realizado, consiste em carregar a imagem, convertê-la em tons de cinza e realizar a limiarização, para termos uma imagem em preto e branco (zeros e uns). Com a imagem limiarizada foi realizada a sua Erosão, com uma matriz 3×3 de valores 1.

Podemos observar pela imagem, que este simples processo eliminou todos os traços/linhas da imagem de entrada, mantendo apenas as estruturas maiores. O resultado não foi uma extração ideal de estrutura, porém, com uma única aplicação de operação morfológica foi possível remover muitas informações indesejadas. O exemplo acima foi realizado utilizando a ferramenta online OpenCV-Flow.

Dilatação

Símbolo / Representação: ⊕

Definição: A _^⊕ B = { z | (^B)_z ∩ A ≠ ∅ }

A dilatação, de certa forma, é o contraponto da erosão. Ela consiste em testar cada elemento da imagem de origem e verificar se possui valor 1, caso exista na imagem de destino, então é adicionado os valores do elemento estruturante a partir da posição central do elemento estruturante.

O efeito prático do processo morfológico chamado Dilatação consiste na modificação das feições da imagem, aumentando-as em seu entorno [MM].

Observe na ilustração a seguir, o resultado da aplicação do elemento estruturante (núcleo) na imagem. O núcleo de forma quadrada, com tamanho 3×3, possui os valores [1,1,1,1,1,1,1,1,1] e centro de coordenada (2,2). Note que ao aplicar o núcleo na coordenada (3,3) da imagem de entrada, resultou na imagem de saída a expansão daquele ponto, ao aplicar/copiar o elemento estruturante na imagem de saída. Todo o processo é repetido para cada elemento da imagem.

Abertura e Fechamento

Duas outras operações morfológicas importantes são a abertura e fechamento.

Abertura

Símbolo / Representação: ◦

Definição: A ◦ B = (A _^⊖ B) _^⊕ B

A abertura de uma imagem A por um elemento estruturante B é simplesmente a operação de erosão de A por B, seguida da dilatação de A por B [PS].

Ao realizar a erosão seguida da dilatação, o efeito produzido na imagem é de abertura de pontos/ligações e remoção de ruídos. Observe na ilustração da Fig. 9, que após realizar a operação de erosão na imagem, a conexão que existia entre os retângulos foi perdida e também foram reduzidos seu tamanhos. Porém, ao aplicar a dilatação esses retângulos voltaram a ter sua forma inicial.

Fechamento

Símbolo / Representação: •

Definição: A • B = (A _^⊕ B) _^⊖ B

O fechamento de uma imagem A por um elemento estruturante B é simplesmente a operação de dilatação de A por B, seguida da erosão de A por B [PS] .

Ao realizar a dilatação seguida da erosão, o efeito produzido na imagem são o fechamento de pequenos buracos e criação de conexões. Observe na ilustração da Fig. 10, que após realizar a dilatação, com a espação dos elementos, os buracos iniciais foram fechados, e com a realização da erosão o componente voltou a ter o aspecto da sua estrutura inicial, com os pequenos buracos fechados. Porém, como consequência desta técnica os componentes que estavam próximos se conectaram.

Filtragem morfológica

As operações morfológicas podem ser utilizadas como filtros de imagem, como filtros espaciais apresentados no artigo Domínios de Valor, Espaço e Frequência.

A ilustração da Fig. 11 mostra uma imagem de impressão digital corrompida por ruído, no topo a esquerda, sendo que o ruído se manifesta como elementos aleatórios claros sobre o fundo escuro e como elementos escuros sobre componentes claros na digital. O objetivo é eliminar todos os ruídos sem danificar a estrutura da digital [GW].

A seguir, na ilustração da Fig. 11, um exemplo de filtragem utilizando abertura seguida do fechamento morfológico, utilizando um elemento estruturante em forma de cruz.

O resultado final, após o fechamento, esta quase sem ruídos, mas com algumas das cristas de impressão não totalmente reparadas e também apresenta algumas quebras, além de que algumas cristas foram conectadas e não deveriam. Isto não é inesperado utilizando esta técnica e para resolver esta situação seria necessário aplicar outras técnicas de processamento de imagens, que talvez resolveriam o problema, como realizar afinamento ou esqueletização.

Estes conceitos apresentados neste artigo são a base da morfologia matemática. Ela possui muitas outras técnicas, como extração de fronteiras, transformada acerto-ou-erro, afinamento, esqueletização, poda e extração de componentes conexos.

Referências:

[GW] GONZALEZ, R. C., WOODS, R. E. Processamento de Imagens Digitais. Editora Edgard Blucher, ISBN 978-85-8143-586-2, 3 ed., São Paulo, 2010

[PS] Pedrini, H.; Schwartz, W. R.; Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007

[VL] Visual-Lab – Instituto de computação. Morfologia Matemática em Análise de Imagens. Acessado em 30/01/2023.

[MM] Matosak, B. M.; Medeiros, N. G; IMGedu – Capítulo 3 Morfologia Matemática. Acessado em 30/01/2023.

The post Morfologia Matemática para Processamento de Imagens appeared first on Visão Computacional.