BR112012009116A2 - método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, equipamento para o alinhamento de uma pilha ordenada de imagens de um corpo de prova, produto de programa de computador, transportador de dados - Google Patents

Abstract

MÉTODO PARA O ALINHAMENTO DE UMA PILHA ORDENADA DE IMAGENS DE UM CORPO DE PROVA, EQUIPAMENTO PARA O ALINHAMENTO DE UMA PILHA ORDENADA DE IMA-GENS DE UM CORPO DE PROVA, PRODUTO DE PROGRAMA DE COMPUTADOR, TRANS-PORTADOR DE DADOS A presente invenção se refere ao campo de alinhamento de uma pilha ordenada de imagens a partir de um corpo de prova fatiado. De acordo com o presente método e equipamento, a pilha ordenada de imagens é alinhada pela determinação sucessiva, de pelo menos duas imagens já alinhadas da pilha ordenada, dos respectivos desalinhamentos com uma imagem desalinhada que deve ser alinhada depois, selecionando a partir de pelo menos duas imagens alinhadas como imagem de referência que a imagem alinhada com a qual a imagem desalinhada tem a me-nor quantidade de desalinhamento, e alinhar a imagem desalinhada com a imagem de referência selecionada. Isso pretende prover um método e equipamento de alinhamento robustos e compu-tacionalmente baratos.

Description

MÉTODO PARA O ALINHAMENTO DE UMA PILHA ORDENADA DE IMAGENS DE UM CORPO DE PROVA, EQUIPAMENTO PARA O | ALINHAMENTO DE UMA PILHA ORDENADA DE IMAGENS DE UM CORPO DE PROVA, PRODUTO DE PROGRAMA DE COMPUTADOR, TRANSPORTADOR DE

DADOS | CAMPO DA INVENÇÃO ] A presente invenção se refere ao campo de 1 alinhamento de uma pilha ordenada de imagens de um corpo de prova, e mais especificamente ao método e equipamento para o | 10 alinhamento de uma pilha ordenada de imagens a partir de um corpo de prova fatiado.

HISTÓRICO DA INVENÇÃO Corpos de provas são fatiados e são colhidas . imagens com propósitos de análises, assim como com propósitos de ensinamento. Com uma pilha de imagens que ' descreve um corpo de prova fatiado, é possível a criação de vistas sintéticas daquele corpo de prova para analisar a estrutura e a anatomia do corpo de prova. Após cortar o corpo de prova no laboratório, por exemplo, a partir de um bloco de parafina, o sistema comum de coordenadas do corpo de prova fatiado é perdido, o que provoca o desalinhamento nas imagens da pilha. Essa perda resulta em diferenças translacionais e rotacionais entre as imagens da pilha. Outra fonte de desalinhamento pode provir da preparação de a 25 fatias que se baseia em etapas feitas manualmente. Podem ocorrer a translação, a pesagem e o estiramento. Além disso, ' podem ser encontradas deformações como tecido esticado, tecido quebrado e tecido faltante. Para alinhar as fatias histológicas do corpo de prova no domínio digital (isto é, após a coleta de imagens) é necessário contra-atuar os resultados do processo de deformação, assim como a perda do sistema comum de | coordenadas. Uma solução típica para o alinhamento é à | | a. colocação de marcadores como fiduciais artificiais no bloco ” do corpo de prova durante a preparação, por exemplo, integrando marcadores na parafina, que são detectados após a coleta de imagens.

As posições desses marcadores podem então ser usadas para o cálculo dos parâmetros de transformação.

Entretanto, esses marcadores adicionais resultam em uma etapa adicional de preparação.

Além disso, aumenta O espaço . de armazenagem para guardar as imagens após a digitalização, porque uma maior área terá coleta de imagens para a captura dos marcadores que são adicionados ao longo do real corpo de prova.

Portanto, é desejável o alinhamento de uma pilha ordenada de imagens sem o uso de outros marcadores no bloco do corpo de prova. . o artigo “Computer-Based Alignment e Reconstruction of Serial Sections”, John C.

Fiala e Kirsten ' M.

Harris, Boston University, Microscopy and Analysis, pages 5-7, January 2002, descreve uma maneira para alinhar uma série de imagens sem precisar adicionar novos marcadores no bloco do corpo de prova.

Para o alinhamento, as imagens são transformadas por computação a partir de um conjunto de correspondências de pontos adicionado pelo usuário.

Para O alinhamento da série de imagens, é repetido um processo de alinhamento, em que uma imagem para ser alinhada depois é alinhada com a imagem alinhada imediatamente antes. - 25 Além da referência citada acima, são mencionadas outras referências nos seguintes parágrafos: ' - Gerard de Haan et al, “True motion estimation with 3D-recursive search block matching”, IEEE transactions on circuits and systems of video technology, volume 3, number 5, October 1993; - Patente Norte-Americana No. 5.072.293; - US2008/0144716Al; David G.

Lowe, "Object recognition from local-

scale invariant features, ' International Conference on Computer Vision, 1999, pages 1150-1157; e David G, Lowe, “Distinctive image features from scale-invariant keypoints, ” International Journal of Computer Vision, 2004, pages 91-110. . SUMÁRIO DA INVENÇÃO Entretanto, sem o uso de marcadores adicionais no a bloco do corpo de prova, várias deformações locais, como tecido faltante e quebrado, tornam difícil o alinhamento de todas as imagens do corpo de prova fatiado de forma robusta.

Dado o grande número de imagens de patologia, tipicamente 64k x 64k pixels, os requisitos computacionais . para o alinhamento automático estão ficando críticos.

Assim, estando ficando altamente desejáveis os i procedimentos de alinhamento rápido com a facilidade de demandas computacionais.

Seria vantajoso ter um método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova e obter um equipamento para alinhamento que permita um alinhamento confiável da pilha ordenada de imagens e que possa permitir um alinhamento rápido com baixas demandas computacionais.

Para melhor analisar uma ou mais dessas P 25 preocupações, em um primeiro aspecto da invenção é apresentado um método para oO alinhamento de uma pilha S ordenada de imagens de um corpo de prova, compreendendo as etapas sucessivas de a) determinar, para pelo menos duas imagens já alinhadas da pilha ordenada, os respectivos desalinhamentos com uma imagem desalinhada que deve estar alinhada depois na pilha ordenada; b) a partir das pelo menos duas imagens alinhadas, selecionar como imagem de referência a imagem alinhada tendo a menor quantidade de desalinhamento com a imagem desalinhada; e c) alinhar a imagem desalinhada com a imagem de referência selecionada. Para ainda melhor analisar uma Ou mais dessas preocupações, em um segundo aspecto da presente invenção, é apresentado um equipamento para o alinhamento de uma pilha . ordenada de imagens de um corpo de prova, compreendendo os seguintes dispositivos: um determinador para a determinação . de pelo menos duas imagens já alinhadas da pilha ordenada, os respectivos desalinhamentos com uma imagem alinhada que deve estar alinhada depois na pilha ordenada; um seletor para selecionar, a partir das pelo menos duas imagens alinhadas, como imagem de referência que a imagem alinhada tem a menor quantidade de desalinhamento com à imagem desalinhada; e um alinhador para o alinhamento a imagem desalinhada com a imagem de referência selecionada.

Determinar pelo menos dois desalinhamentos para cada imagem a ser alinhada pode proporcionar uma forma confiável de alinhamento. Selecionar como a imagem de referência para alinhamento a imagem alinhada provendo a menor quantidade de desalinhamento também pode garantir uma forma confiável de alinhamento. Somente o alinhamento da imagem desalinhada com a imagem de referência selecionada, o que implica somente uma transformação de demanda computacional de uma imagem desalinhada em uma imagem , 25 alinhada, pode fornecer demandas computacionais simplificadas e podem ainda permitir o alinhamento rápido.

' De acordo com pelo menos uma realização, OS respectivos desalinhamentos são determinados por estimativa de movimento de maneira que cada desalinhamento seja descrito por um campo de deslocamento estimado. Isto pode — permitir uma rápida determinação dos respectivos desalinhamentos e obter demandas computacionais simplificadas.

; 5/21 ,

De acordo com pelo menos uma realização, O campo de deslocamento compreende pelo menos um vetor de deslocamento que descreve como deslocar pixels na imagem para ser alinhada para alinhar esta imagem com à imagem de referência selecionada.

Isso também pode permitir uma : rápida determinação dos respectivos desalinhamentos e obter demandas computacionais simplificadas. . De acordo com pelo menos uma realização, as imagens alinhadas e a imagem desalinhada para ser alinhada depois são divididas em blocos, e os respectivos campos de deslocamento são obtidos por meio de um algoritmo de combinação de blocos.

Isto pode ainda aumentar a robustez do alinhamento.

De acordo com pelo menos uma realização, as | 15 respectivas quantidades de desalinhamento são calculadas em termos de um respectivo erro de combinação entre a respectiva imagem alinhada e a imagem desalinhada para ser alinhada depois, onde os erros de combinação são calculados com base em um critério predeterminado de combinação, e onde à imagem alinhada tendo Oo menor erro de combinação é selecionada como a imagem de referência.

Esta característica também pode permitir uma rápida determinação dos respectivos desalinhamentos e a obtenção de demandas computacionais simplificadas. , 25 De acordo com pelo menos uma realização, O alinhamento de uma imagem desalinhada com a imagem de ] referência selecionada, compreende a transformação da imagem desalinhada com base nos parâmetros de transformação que descrevem como a imagem desalinhada deve ser transformada para obter o alinhamento com a imagem de referência "selecionada, e onde para cada etapa de alinhamento somente a respectiva imagem desalinhada que estiver sendo presentemente alinhada está sendo

' transformada. Esta característica pode permitir a redução da o carga computacional referente a uma transformação da imagem desalinhada em uma imagem alinhada com a imagem de referência selecionada.

De acordo com pelo menos uma realização, à imagem desalinhada para ser alinhada e depois ser descartada da pilha ordenada de imagens se todas as quantidades de - determinados desalinhamentos estiverem acima de um determinado limite, e nesse caso a imagem descartada pode opcionalmente ser ainda substituída por uma interpolação de imagens já alinhadas, e/ou uma imagem alinhada não será usada para outras etapas para a determinação do desalinhamento se sua quantidade de desalinhamento na etapa atual para a determinação desalinhamento estiver acima de um determinado limite, em contraste com as quantidades restantes de desalinhamento. Esta característica pode permitir aumentar a robustez do alinhamento e reduzir a sensibilidade do alinhamento com relação às deformações locais.

De acordo com pelo menos uma realização, antes da determinação dos respectivos desalinhamentos, pelo menos uma das imagens é convertida em outro espaço de sinal de maneira que todas as imagens sejam comparáveis no mesmo espaço de sinal. Esta característica pode permitir o alinhamento das . 25 imagens de diferentes corantes, mantendo oO critério de simples combinação. Esta característica também pode permitir Ú usar um espaço de sinal que permita uma melhor ou uma determinação mais simplificada dos desalinhamentos.

De acordo com pelo menos uma realização, O equipamento compreende um estimador de movimento para a determinação dos respectivos desalinhamentos pela estimativa de movimento, de maneira que cada desalinhamento seja descrito por um campo de deslocamento estimado. O estimador

: de movimento pode permitir uma determinação rápida e ” computacionalmente eficiente das quantidades de desalinhamento.

De acordo com pelo menos uma realização, OS respectivos desalinhamentos são determinados por reconhecimento de objeto. Esta característica pode permitir aumentar mais a robustez do processo de alinhamento.

. De acordo com pelo menos uma realização, OS respectivos desalinhamentos são determinados por estimativa de movimento de maneira que cada desalinhamento seja descrito em um campo de deslocamento estimado e, se grandes quantidades de desalinhamento ocorrerem repetidamente, oOS desalinhamentos são então determinados por reconhecimento de objeto ao invés de estimativa de movimento. Esta característica pode permitir comutar automaticamente entre um processo para a determinação de desalinhamento rápido e simples, que se baseia na estimativa de movimento e um processo para a determinação de desalinhamento mais complexo e robusto que se baseia no reconhecimento de objeto, de maneira que a contrapartida entre robustez e carga computacional do alinhamento seja otimizada em consideração aos desalinhamentos determinados interações anteriores de alinhamento.

Todas as etapas do método supramencionado devem ser . 25 feitas automaticamente ou pelo menos parcialmente de forma automática.

Ú Outras realizações são obtidas pela combinação de duas ou mais das características individuais indicadas nos parágrafos acima, cada qual iniciando com "de acordo com pelo menos uma realização”. Portanto, esses parágrafos indicados acima não devem ser interpretados de forma que uma realização possa somente compreender características simples das características indicadas acima. Outras realizações do equipamento são obtidas de forma correspondente, de maneira que qualquer equipamento que for adaptado para realizar um método representando uma realização trata-se também de uma realização.

Além disso, a presente invenção se refere a um ' produto de programa de computador que permite que um processador realize as etapas do método indicadas acima e se - refira a um transportador de dados no qual esse produto de programa de computador estiver armazenado.

Esses e outros aspectos da invenção ficarão aparentes e elucidados com referência às realizações doravante descritas.

BREVE DESCRIÇÃO DOS DESENHOS A Fig. 1 ilustra um processo do alinhamento sucessivo de uma pilha ordenada de imagens de um corpo de prova.

A Fig. 2 é um fluxograma para a ilustração de um método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova de acordo com pelo menos uma realização da presente invenção.

A Fig. 3 ilustra um equipamento para o alinhamento de uma pilha ordenada de imagens de um corpo de prova de acordo com uma realização da presente invenção.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES * 25 As seguintes realizações da presente invenção serão explicadas em maiores detalhes em combinação com os ' desenhos de acompanhamento.

A Fig. 1 ilustra um processo de alinhamento sucessivo de uma pilha ordenada de imagens de um corpo de prova (que é, por exemplo, um corpo de prova fatiado). Como mostrado na Fig. 1, antes do alinhamento da pilha ordenada de imagens, a pilha é considerada como estando totalmente desalinhada e compreende quatro imagens alinhadas co, C1, C2 e c;. Alinhando sucessiva ou recorrentemente as imagens na pilha que aínda estiverem desalinhadas com base nas imagens já alinhadas, como por exemplo, mostrado na metade da Fig. 1 que mostra imagens já alinhadas r, e ri, e imagens ainda para serem alinhadas c, e c;, a pilha ordenada de imagens pode ser totalmente alinhada, de maneira que todas as ' imagens inicialmente desalinhadas coº, 61, C7 €& CC; Sejam . transformadas em imagens alinhadas r', Y1, Y2 E T;. A seguir, a notação usada para a Fig. 1 será usada em toda a descrição restante: imagens desalinhadas são indicadas pelo sinal de | referência c, considerando que as imagens já alinhadas serão indicadas pelo sinal de referência r. A posição respectiva da imagem (independente de ser desalinhada ou alinhada) na pilha ordenada é indicada por um número ordinal subscrito, de maneira que, por exemplo, a imagem alínhada r, seja circundada pela imagem alinhada r, e a imagem desalinhada C€27, como mostrada de maneira exemplar no meio da Fig. 1. A Fig. 2 é um fluxograma para a ilustração de um método para o alinhamento de uma pilha ordenada de imagens de um corpo de prova de acordo com uma realização da presente invenção.

No início do método de acordo com pelo menos uma realização, na etapa S10 da Fig. 2, uma imagem desalinhada c da pilha ordenada é determinada como sendo uma imagem * 25 alinhada r sem transformação de alinhamento: r,('c,. Assim, esta imagem é escolhida como o ponto inicial para o ' alinhamento sucessivo das imagens da pilha ordenada. Apesar de na etapa S10 da Fig. 2 à imagem com O número ordinal O ser escolhida como o valor inicial, o método não é restrito a esta posição inicial. Pode ser escolhida qualquer posição na pilha ordenada de imagens, por exemplo, a posição média da pilha. Além disso, a posição inicial pode ser determinada de maneira que uma imagem seja selecionada como ponto inicial que se espera ter a menor quantidade de desalinhamento devido à preparação manual. Este poderia ser, por exemplo, a imagem tendo a menor seção transversal, como pode se esperar que à quantidade absoluta de deformação seja a mínima. Entretanto, por outras razões, esta poderia também . ser a imagem que cobre a maior parte da superfície fatiada. Na etapa S20, então é determinado o desalinhamento - so entre a imagem alinhada r, e a próxima imagem a ser alinhada c,. Serão discutidas abaixo formas adequadas para a determinação do desalinhamento s.

Depois, na etapa S30 a imagem cl está alinhada com rº baseada no desalinhamento determinado s, de maneira que seja feito uma transformação de alinhamento que conduza a Cidri. A seguir, a notação ci>r;, será usada para indicar que a imagem desalinhada (inicial) c; foi transformada em uma imagem alinhada ri.

Na etapa S35, então o indicador de posição i é estabelecido em 0 para ajustar a posição inicial do método recursivo de acordo com pelo menos uma realização da presente invenção. Similar ao acima mencionado para a etapa S10 realizada de forma não recursiva, o indicador de posição i também poderia ser ajustado em qualquer outro valor adequado. O valor i=0 é escolhido somente para simplificar a seguinte explicação. As etapas realizadas de forma não º 25 recursiva S10 a S35 são somente opcionais para o método de . acordo com pelo menos uma realização.

Agora, serão explicadas as etapas realizadas de forma recursiva do método para o alinhamento sucessivo da pilha ordenada de imagens. Na etapa S40, é determinado O desalinhamento si entre a imagem alinhada r; e a imagem desalinhada para ser alinhada depois ci., e o desalinhamento Si, Entre a imagem alinhada ri.) e a imagem desalinhada para ser alinhada depois cCi11.2.

Na próxima etapa S50, são determinadas as respectivas quantidades de desalinhamentos f(s;) e fí(Si1) para o desalinhamento s; & Sin, respectivamente. A determinação da quantidade de desalinhamento significa que uma quantidade f(s) é obtida a partir do desalinhamento s, de maneira que a quantidade f(s) possa ser usada com ] objetivos de comparação. De forma mais simples, a . quantidade f(s) é calculada como a magnitude absoluta de desalinhamento s. Se o desalinhamento s também pode ser calculada como à soma dos valores absolutos das componentes do vetor (que é oO mesmo que calcular a diferença absoluta somada (abreviada como SAD) devido ao desalinhamento s ser já um vetor de diferença), ou como o erro médio quadrático (MSE) dos valores das componentes do vetor.

Na etapa 870, então as quantidades de desalinhamentos f(s;) e fí(s11) determinadas na etapa S50 são comparadas entre si. No caso em que f(s;) é menor que f(Si,1), a imagem alinhada r; é a imagem com a qual à imagem para ser alinhada depois c;i.,2 tem a menor quantidade de desalinhamento, de maneira que a imagem alinhada r; seja selecionada como imagem de referência na etapa S74. No caso em que físi) for maior ou igual a fí(su1), a imagem alinhada ru,1 é a imagem com a qual a imagem para ser alinhada depois Cis2 tem a menor quantidade de * 25 desalinhamento, de maneira que a imagem alinhada ri,, seja selecionada como a imagem de referência rre: na etapa S76. S Após selecionar rrer na etapa S74 ou na etapa 876, na etapa S80, a imagem para ser alinhada depois c;+2 É alinhada com rret incluindo uma transformação de alinhamento de c;+2 EM rYr;i,, de forma que: Cisa*>Yri1. Esta transformação de alinhamento é feita com base no desalinhamento determinado si (se Tre tiver sido selecionado na etapa S74) ou no desalinhamento determinado si, (se rref tiver sido selecionado na etapa S76). Após a transformação de alinhamento na etapa S80, é verificado na etapa 890 se a pilha ordenada de imagens está completamente alinhada, isto é, se nenhuma imagem desalinhada c foi esquecida.

Se a pilha não estiver ainda completamente alinhada, isto é, ainda existirem imagens para Ú serem alinhadas na pilha, o indicador de posição i é . incrementado de um na etapa S95, e então é feito o próximo retorno (ou interação) das etapas realizadas S40 a S90 para o alinhamento da próxima imagem.

Caso seja determinado na etapa S$90 que a pilha foi completamente alinhada, o método de alinhamento estará completo e nenhum retorno será feito.

Em pelo menos uma realização da presente invenção, os respectivos desalinhamentos s:i, Si,i são determinados por estimativa de movimento, de maneira que cada desalinhamento seja descrito no campo de deslocamento estimado.

O campo de deslocamento estimado pode, por exemplo, compreender pelo menos no vetor de deslocamento que descreve como mover pixels na imagem para ser alinhada para o alinhamento desta imagem com a imagem de referência selecionada.

O vetor de deslocamento pode descrever todos os desalinhamentos possíveis como a translação, rotação, medição e estiramento.

Esse vetor de deslocamento é também

| denominado de vetor de movimento. . 25 Para realizar a estimativa de movimento e obter os vetores de deslocamento ou os vetores de movimento, ' foram propostos vários algoritmos.

A estimativa de movimento pode ser vista como um problema de otimização: uma função de critério por vezes complexa, mas normalmente simples deve ser minimizada ou maximizada para encontrar um vetor de movimento de saída.

Existem métodos de força bruta que simplesmente tentam todos os vetores possíveis, em uma faixa predefinida, para se certificar de obter o ideal global da função de critério. Também existem abordagens eficientes que somente testam os vetores de movimento mais prováveis. Essa probabilidade é normalmente determinada por proximidade espacial ou temporal, e consequentemente são úteis vetores de previsão temporal e espacial nos eficientes algoritmos de estimativa de movimento. Isso pode ser . feito por meio de um algoritmo de combinação de blocos de busca recursiva 3D descrito no documento de Gerard de Haan et al, “True motion estimation with 3D-recursive search block matching”, IEEE transactions on circuits and systems of video technology, volume 3, number 5, October

1993. Este documento está totalmente incorporado por referência à presente. Este algoritmo subdivide um quadro em blocos de, por exemplo, 8x8 pixels e tenta identificar a posição deste bloco no próximo quadro. A comparação desses locais torna possível indicar um vetor de movimento para cada bloco de pixel que compreende a taxa de reposição de pixels do bloco e o tempo entre dois quadros. A busca recursiva 3D é um algoritmo de estimativa de movimento baseado em blocos que emprega um pequeno número de candidatos MV (MV= vetor de movimento) obtidos a partir das previsões espaço-temporais. O algoritmo de busca recursiva 3-D supõe que os blocos são menores que . 25 os objetos, de maneira que o MV de um bloco vizinho seja uma boa estimativa para o candidato MV do bloco corrente. : Os blocos são processados em uma determinada ordem, por exemplo, da esquerda para a direita e de cima para baixo, de maneira que alguns blocos que já tiverem sido estimados quanto aos MVs possam fornecer candidatos espaciais MV para o bloco corrente, enquanto os demais blocos que não foram processados tomam MVs do quadro de referência para prover um candidato temporal MV para o bloco corrente. Para cada candidato MV, é calculado Oo erro de estimativa de movimento. O candidato com o mais baixo erro de estimativa de movimento é escolhido como o vetor de movimento de saída para aquele bloco. O algoritmo usa um pedido de varredura quadriculada normal para percorrer os blocos. Pelo menos uma das realizações da presente invenção emprega esse algoritmo de combinação . de blocos para a obtenção dos respectivos campos de deslocamento. Vantajosamente, Oo algoritmo de combinação de blocos de busca recursiva 3D é usado em pelo menos uma realização da presente invenção como algoritmo de combinação de blocos. Para desempenho em tempo real de baixo custo, o inventor propõe usar um estimador de movimento recursivo rápido que proporcione campos (de deslocamento consistentes espaço-temporais que são usados para alinhar as imagens na pilha. Outros — métodos fundamentais para a determinação do vetor de movimento que pode ser usado para pelo menos uma realização da presente invenção são descritos nas Patentes Norte-Americanas No. 5,072,293 e US2008/0144716Al, ambas incorporadas à presente por referência.

Em pelo menos uma realização da presente invenção, as respectivas quantidades de desalinhamentos f(s) são calculadas em termos de um respectivo erro de combinação, . 25 por exemplo, f(si), fí(Sin), fm), fim), que é calculado com base em um critério predeterminado de combinação f. Esse : critério de combinação f que pode ser simplesmente determinado é a Diferença Absoluta Somada (SAD): SADC, X,n)= 3 |FG-Cn-D-FGE, esco) onde C é O vetor candidato em teste, o vetor X indica a posição do bloco [FÓRMULA] é o sinal de luminância, e n o número da figura ou do campo.

O vetor de movimento que resulta na saída - um vetor por bloco é o vetor candidato que dá o menor valor SAD.

Como alternativa ao SAD, como critério de combinação, pode ser aplicado o Erro Médio Quadrático (MSE) elevando ao quadrado as diferenças absolutas e somando-as. : Similarmente, momentos de terceira ordem podem ser aplicados como critério de combinação f. . Em pelo menos uma realização da presente invenção, o alinhamento de uma imagem desalinhada c com a imagem de referência selecionada rx. compreende a transformação da imagem desalinhada baseada nos parâmetros de transformação t que descrevem como a imagem alinhada deve ser transformada para obter o alinhamento com a imagem de referência selecionada.

Os parâmetros de transformação t podem ser obtidos a partir de determinado desalinhamento entre a imagem alinhada e a imagen de referência selecionada e em particular a partir do campo de deslocamento, do vetor de deslocamento ou do vetor de movimento que descreve O desalinhamento determinado.

A transformação de demanda computacional é somente feita uma vez por imagem para ser alinhada, considerando que o cálculo computacionalmente barato dos respectivos erros de combinação é feito mais de uma vez por imagem para ser alinhada.

As imagens a serem comparadas devem estar em um " 25 espaço de sinal comparável.

Entretanto, este não é O caso se . as imagens na pilha forem coloridas com diferentes corantes (por exemplo, hematoxilina e eosina (H&E) e ImmunoHistoChemistry (IHC)). Pela transformação de pelo menos uma das imagens para o espaço de sinal das outras imagens ou para um espaço de sinal comparável antes da minimização do desalinhamento ou do erro de combinação, é possível manter ou obter o critério de simples combinação.

De acordo com pelo menos uma realização, a imagem desalinhada para ser alinhada depois será descartada da pilha ordenada de imagens se todas as quantidades de determinados —“desalinhamentos s estiveren acima de um determinado limite. O limite determinado pode ser um valor fixo ou pode ser determinado de forma adaptativa, por . exemplo, com base nas quantidades previamente determinadas de desalinhamento. A imagem descartada pode ser substituída - por uma imagem interpolada gerada por uma interpolação das imagens alinhadas. Como entrada para a interpolação, podem ser escolhidas imagens alinhadas localizadas na pilha ordenada próximas a uma imagem descartada. Além disso, uma imagem alinhada não será usada em outras etapas para a determinação do desalinhamento se sua quantidade de desalinhamento na etapa atual para a determinação desalinhamento estiver acima de um determinado limite, enquanto as quantidades remanescentes de desalinhamento estiverem abaixo de um determinado limite. O determinado limite pode ser um valor fixo ou pode ser determinado adaptativamente, por exemplo, com base em quantidades previamente determinadas de desalinhamento.

De acordo com pelo menos uma realização, OS respectivos desalinhamentos são determinados por reconhecimento de objeto. Comparado aos algoritmos de combinação de blocos para os pixels de combinação, oO . 25 reconhecimento de objeto exige mais esforços de computação. Por outro lado, o reconhecimento de objeto funciona em ' descritores de maior nível que são mais robustos que, por exemplo, o SAD. Entretanto, nem todas as técnicas de reconhecimento de objeto são adequadas como base para oO alinhamento de uma pilha ordenada de imagens. Um método adequado para o reconhecimento de objeto é um reconhecimento de objeto das denominadas características invariantes de escala local. Um tipo desse método é denominado SIFT (de

Transformada da Imagem em Características Invariantes) e foi introduzida no “Object recognition from local scale- invariant features,” David G.

Lowe, International Conference on Computer Vision, 1999, pages 1150-1157. Uma descrição bastante ampla do método SIFT para o reconhecimento de objeto é feita em “Distinctive image features from scale- ' invariant keypoints,” David G.

Lowe, International Journal - of Computer Vision, 2004, pages 91-110. Ambos os documentos estão incorporados à presente por referência.

O método SIFT transforma cada peça local de uma imagem em coordenadas que são independentes da escala e da orientação da imagem.

Características invariantes locais permitem combinar, de maneira eficiente, pequenas porções de imagens desordenadas sob rotações arbitrárias, medições, alteração de brilho e contraste, e outras transformações.

A idéia é quebrar a imagen em muitas pequenas peças superpostas de vários tamanhos, cada qual sendo descrita de maneira invariante para as possíveis transformações.

Depois, cada parte pode ser individualmente combinada, e as peças de combinação terem a consistência verificada.

Para a combinação e reconhecimento de imagem, as características SIFT são primeiro extraídas de um conjunto de imagens de referência e armazenadas em um banco de dados.

Uma nova imagem é combinada comparando individualmente cada característica de . 25 uma nova imagem com essa base de dados anterior e descobrir características de combinação de candidatos com ' base na distância Euclidiana de seus vetores característicos.

De acordo com pelo menos uma realização, OS respectivos desalinhamentos são somente determinados pelo reconhecimento de objeto supramencionado quando quantidades relativamente grandes de desalinhamento tiverem ocorrido repetidamente.

Por outro lado, se as quantidades de desalinhamento ficarem principalmente abaixo de um determinado limite, os respectivos desalinhamentos são determinados por estimativa de movimento rápido e computacionalmente simples. O limite determinado pode ser um valor fixo ou pode ser determinado de forma adaptativa, por exemplo, com base em quantidades de desalinhamento previamente determinadas. - A Fig. 3 ilustra um equipamento para o alinhamento de uma pilha ordenada de imagens a partir de um corpo de prova fatiado de acordo com pelo menos uma realização da presente invenção. O equipamento 100 compreende —* um determinador 10, um seletor 20, e um alinhador 30. O determinador 10 inclui dois estimadores de movimentos 11 e

12. O estimador de movimento 11 recebe em sua entrada a imagem alinhada r;, e a imagem para ser alinhada depois Ci... O estimador de movimento 11 é adaptado para determinar com base nessas entradas o desalinhamento Ss; e um vetor de deslocamento mi, e enviá-los. Similarmente, o estimador de movimento 12 recebe em sua entrada a imagem alinhada r;,1) & a imagem para ser alinhada depois c;i,,, e é adaptado para determinar com base nessas entradas o desalinhamento Si, E um vetor de deslocamento mi, e enviá-los. Os desalinhamentos enviados s; e si, vão para o seletor 20. Os desalinhamentos enviados s; e Si, também podem ser enviados como os vetores . 25 correspondentes de deslocamento m; E Mi: E respectivamente, para serem enviados ao seletor 20 (nesse caso SsS:;=M;, &€e ' Sis1=Mi,1). O seletor 20 aplica um critério de combinação, por exemplo, SAD, MSE ou 3º ordem, nos desalinhamentos s; e Si, recebidos do estimador de movimentos 11 e 12. A aplicação do critério de combinação resulta no cálculo dos erros de combinação f(s;) e fís;,,). Depois, o seletor 20 | determina o mínimo desses erros de combinação e seleciona a partir dos vetores de deslocamento m; é Mi,1i a saída dos estimadores de movimento 11 e 12 aquele vetor de deslocamento que tem o menor erro de combinação como vetor de deslocamento de referência mrxer. POr meio desse vetor de deslocamento de referência mMrxes à imagem de referência TYret coma qual a imagem desalinhada c;i,, deve ser alinhada é implicitamente selecionada. O vetor de deslocamento de Ú referência selecionado mM... é então enviado a partir do . correspondente estimador de movimento ao alinhador 30. No | alinhador 30, o vetor de deslocamento de referência Mret É ' 10 convertido em conversor 32 nos parâmetros de transformação t para a transformação da imagem desalinhada c;.2. No alinhador 30, os parâmetros de transformação t são enviados a partir do conversor 32 para o transformador 34. O transformador 34 usa parâmetros de transformação t para a transformação da imagem desalinhada c;,, em uma imagem alinhada ri.., de maneira que Ci.2->*>Yriss. Após o término de uma interação de alinhamento para ci,.., pode ser iniciada a próxima interação para c;,;3, com o contador de posição i sendo incrementado de um. Apesar de as realizações acima descritas serem todas baseadas na determinação de dois desalinhamentos para o alinhamento de uma imagem desalinhada, isto não limita a presente invenção à determinação de somente dois desalinhamentos. Mais de dois desalinhamentos podem ser ' 25 determinados para cada etapa de alinhamento. A imagem de referência pode ser selecionada a partir de mais de duas ] imagens alinhadas.

Apesar de as realizações acima descritas se basearem na determinação de pelo menos dois desalinhamentos entre a imagem desalinhada e pelo menos duas imagens imediatamente precedentes à imagem desalinhada, isto não limita a presente invenção a selecionar a imagem de referência a partir das imagens alinhadas adjacentes entre si e adjacentes à imagem desalinhada, Apesar de nos exemplos descritos acima, a pilha ordenada de imagens compreende somente quatro imagens por motivos de explicação, o tamanho da pilha não é limitado a essa dimensão. A pilha ordenada de imagens pode compreender qualquer número de imagens. Dentro do conceito da invenção “determinador”, “seletor”, “alinhador”, “estimador de - movimento" devem ser amplamente entendidos e compreendidos como sendo, por exemplo, qualquer peça de hardware (como um determinador, seletor, alinhador, estimador de movimento), qualquer circuito ou sub-circuito projetado para realizar uma determinação, seleção, alinhamento, estimativa de movimento como descrito, assim como qualquer peça de software (programa ou sub-programa de computador Ou conjuntos de programas de computador, ou código(s) de programas) projetada ou programada para realizar uma determinação, seleção, alinhamento, estimativa de movimento, assim como qualquer combinação de peças de hardware e software que atuarem dessa forma, individualmente ou em combinação, sem — restrições relativas às realizações indicadas abaixo. Será apreciado pelos técnicos no assunto que a presente invenção não se limita ao que foi particularmente mostrado e descrito acima. A invenção reside em todas as características de novidade e em cada combinação . 25 dessas características. Os números de referência das reivindicações não limitam seus escopos de proteção. O uso do verbo “compreender” e suas conjugações não exclui a presença de outros elementos além dos indicados nas reivindicações. O uso do artigo “um” ou “uma” antes de um elemento não exclui a presença de uma pluralidade desses | elementos.

A presente invenção foi descrita em termos de realizações específicas, que são ilustrativas da invenção e não devem ser entendidas como limitadoras.

A invenção pode ser realizada em hardware, firmware ou software, ou em uma combinação dessas.

Outras realizações estão dentro do escopo das reivindicações a seguir.

LISTA DE SINAIS DE REFERÊNCIA: i determinador Ú 11 estimador de movimentos . 12 estimador de movimentos seletor 10 30 alinhador 31 conversor 34 transformador 100 equipamento | | |

Claims (15)

1. Ê a

   REIVINDICAÇÕES 1; MÉTODO PARA O ALINHAMENTO DE UMA PILHA ORDENADA DE IMAGENS DE UM CORPO DE PROVA, caracterizado por compreender as etapas sucessivas de: determinar (S40), para pelo menos duas imagens já alinhadas (ri;,rYim) da pilha ordenada, os respectivos ' desalinhamentos (Si, Sim) com uma imagem desalinhada (Ci,2) . que deve estar alinhada depois na pilha ordenada; a partir das pelo menos duas imagens alinhadas (rijírin), selecionar (S50, S70, S74, S76) como imagem de referência (rref) que a imagem alinhada com a qual à imagem desalinhada (ci.) tem a menor quantidade de desalinhamento (fls); fl(si1))j e - alinhar ($80) a imagem desalinhada (c;.2) com a imagem de referência selecionada (rref).
2. 2. MÉTODO, de acordo com a reivindicação 1, caracterizado em que os respectivos desalinhamentos (s;, S1,1) são determinados por estimativa de movimento, de maneira que cada desalinhamento seja descrito por um campo de deslocamento estimado (mi, Mi).
3. 3. MÉTODO, de acordo com a reivindicação 2, em que o campo de deslocamento é caracterizado por compreender pelo menos um vetor de deslocamento (Mi, Mi1) que descreve como deslocar pixels na imagem para ser alinhada para . 25 alinhar esta imagem com a imagem de referência selecionada.
4. 4, MÉTODO, de acordo com a reivindicação 2, ' caracterizado em que as imagens alinhadas e a imagem desalinhada a ser alinhada depois são divididas em blocos e em que os respectivos campos de deslocamentos são obtidos por um algoritmo de combinação de blocos.
5. 5. MÉTODO, de acordo com a reivindicação 1, caracterizado em que as respectivas quantidades de desalinhamento são calculadas em termos de um respectivo erro de combinação (f(si); físin)) entre a respectiva imagem alinhada e a imagem desalinhada para ser alinhada depois, em que os erros de combinação são calculados com base em um critério predeterminado de combinação (£), e em | 5 que a imagem alinhada tendo o menor erro de combinação é selecionada como uma imagem de referência (rres).
6. 6. MÉTODO, de acordo com a reivindicação 1, em - que o alinhamento de uma imagem desalinhada com a imagem de referência selecionada é caracterizado por compreender a transformação da imagem desalinhada com base em parâmetros de transformação (t) que descrevem como a imagem desalinhada deve ser transformada para obter o alinhamento com a imagem de referência selecionada, e em que para cada etapa de alinhamento somente a respectiva imagem alinhada que estiver sendo presentemente alinhada está sendo transformada.
7. 7. MÉTODO, de acordo com a reivindicação 1, caracterizado em que à imagem desalinhada é alinhada depois de ser descartada da pilha ordenada de imagens se todas as quantidades de determinados desalinhamentos estiverem acima de um determinado limite, e em que nesse caso, a imagem descartada poder ainda ser substituída por uma interpolação de imagens já alinhadas, e/ou em que uma imagem alinhada não será usada para outras etapas para a determinação do . 25 desalinhamento se sua quantidade de desalinhamento na etapa atual para a determinação desalinhamento estiver em ' contraste com as quantidades restantes de desalinhamento acima de um determinado limite.
8. 8. MÉTODO, de acordo com a reivindicação 1, caracterizado em que antes da determinação dos respectivos desalinhamentos pelo menos uma das imagens é convertida em outro espaço de sinal, de maneira que todas as imagens sejam comparáveis no mesmo espaço de sinal.
9. 9. MÉTODO, de acordo com a reivindicação 1, caracterizado em que os respectivos desalinhamentos são determinados por reconhecimento de objeto.
10. 10. MÉTODO, de acordo com a reivindicação 1, caracterizado em que os respectivos desalinhamentos são determinados por estimativa de movimento, de maneira que ] cada desalinhamento seja descrito por um campo de . deslocamento estimado (mi; mi,1), e em que, se grandes quantidades de desalinhamento ocorrerem repetidamente, oOS desalinhamentos são então determinados por reconhecimento de objeto ao invés de por estimativa de movimento.
11. 11. EQUIPAMENTO (100) PARA O ALINHAMENTO DE UMA PILHA ORDENADA DE IMAGENS DE UM CORPO DE PROVA, caracterizado por compreender os seguintes dispositivos: - um determinador (10) para a determinação de pelo menos duas imagens já alinhadas (ri; rin) da pilha ordenada os respectivos desalinhamentos (sS;; Sin) com uma imagem desalinhada (Ci.2) que deve estar alinhada depois na pilha ordenada; - um seletor (20) para selecionar, a partir de pelo menos duas imagens alinhadas (ri; ri), como imagem de referência (rrerf) que a imagem alinhada com a qual a imagem desalinhada (c;..) tem a menor quantidade de desalinhamento; e . 25 um alinhador (30) para o alinhamento da imagem desalinhada (ci) com a imagem de referência selecionada ' (Yres) -
12. 12. EQUIPAMENTO, de acordo com a reivindicação 11, caracterizado por compreender adicionalmente um . 30 estimador de movimento (11,12) para a determinação dos respectivos desalinhamentos por estimativa de movimento, de maneira que cada desalinhamento seja descrito por um campo de deslocamento estimado.
13. 13. EQUIPAMENTO, de acordo com a reivindicação 11, caracterizado em que o equipamento é adicionalmente adaptado para realizar um método, de acordo com qualquer uma das reivindicações 3 a 10.
14. 14, PRODUTO DE PROGRAMA DE COMPUTADOR, caracterizado por permitir que um processador realize O ] método, conforme definido na reivindicação 1. -
15. 15. TRANSPORTADOR DE DADOS, caracterizado em que é armazenado um produto de programa de computador, conforme definido na reivindicação 14.