Download Modelos deformables Nadia Alejandra Mejía

Modelos deformables
Nadia Alejandra Mejía-Molina
Maestría en Ingeniería de Sistemas y Computación, Pontificia Universidad
Javeriana
nadia.mejia@javeriana.edu.co
Resumen. Los procesos médicos son apoyados en gran medida
por aplicaciones informáticas que potencian la labor del médico
brindándole información que no puede obtener fácilmente sin
poner en riesgo la vida del paciente. Gran parte de dichas
actividades dependen de un proceso llamado segmentación de
imágenes, el cual permite detectar objetos o figuras en imágenes
médicas para reconstruir modelos completos de dichas figuras o
para detectar órganos y anormalidades en los mismos. De las
técnicas existentes para realizar el proceso de segmentación de
imágenes, los modelos deformables resultan de las más
promisorias, ya que hacen posible realizar procesos de
segmentación de imágenes que permitan al médico experto
apoyar la labor de la máquina y lograr resultados útiles para ser
usados en el diagnóstico.
Palabras Clave: Segmentación de imagines, diagnóstico asistido
por computador, modelos deformables, imágenes médicas.
1
Introducción
En las últimas décadas, la segmentación de imágenes ha tenido un papel muy
importante en la medicina ya que las imágenes segmentadas se usan en una
gran variedad de procesos médicos como detección de enfermedades, estudio
de anatomía, intervenciones asistidas por computador, entre otros [1]. La
visualización
de
imágenes
médicas
permite
obtener
información
potencialmente útil en intervenciones en las que fácilmente se juega la vida de
un paciente. Con la ayuda de este proceso es posible recibir retroalimentación
o información que no se conocía sobre el paciente y evitar situaciones que
puedan arriesgar su seguridad.
Sin embargo, la segmentación de imágenes es un proceso que aún debe
mejorar debido a que hay dificultades en el reconocimiento de formas debido
a la gran variedad existente y a que la calidad de las imágenes médicas no
siempre es adecuada. Comúnmente, las imágenes médicas poseen ruido,
bordes pocos definidos, elementos con bajo contraste y otros defectos que
dificultan la segmentación realizada con técnicas como detección de bordes y
umbralización. [1]
Con el fin de solucionar los problemas que dichas técnicas no solucionan se
han usado ampliamente los modelos deformables y han traído resultados
promisorios. Los modelos deformables pueden ser usados para la
segmentación de imágenes generadas con diversas tecnologías como rayos-X,
tomografías (CT), resonancias magnéticas, ultrasonidos, entre otras.
Los modelos deformables se usan ampliamente por su flexibilidad y porque
pueden ser usados en diversos tipos de figuras con solo modificar los
parámetros de su funcionamiento; por ejemplo, han sido usados en imágenes
de partes del cuerpo como son: cerebro, corazón, cara, arterias, riñones,
pulmones, estómago, hígado, vertebras, tumores e incluso en estructuras
celulares como neuronas y cromosomas. Además, los modelos deformables
permiten hacer el seguimiento de imágenes dinámicas o que se mueven en el
tiempo, por ejemplo, el latido de un corazón; permitiendo de esta forma
visualizar procesos del cuerpo humano y obtener información más
dimensiones.
La siguiente imagen muestra un ejemplo de una segmentación realizada con
modelos deformables, en la cual se segmenta una figura en 2D inicialmente y
luego de varios pasos de procesamiento se genera un modelo en 3D.
Fig. 1. Segmentación de una imagen y generación de su modelo en 3D [2]
2
Generalidades
El término modelos deformables apareció en 1988 en el trabajo realizado
por Terzopoulos y sus colaboradores; sin embargo, la idea de deformar una
figura para encontrar formas en una imagen surgió mucho antes con el trabajo
de Fischler and Elschlager, los Spring-loaded templates y la técnica de
Rubber mask de Widrow [1].
Snakes fue la técnica de deformación de modelos que dio fama al término
modelos deformables y permitió que se volvieran un área activa de
investigación en la segmentación de imágenes [1]. Los modelos deformables
llamados Snakes o active contour models, son contornos planos deformables
basados en la técnica de minimización de energía, que será explicada en
secciones posteriores.
2.1 Qué son
Los modelos deformables son curvas o superficies que definidas dentro
de una imagen se deforman bajo la influencia de fuerzas internas o
externas. Las internas están determinadas por la geometría de la curva o
superficie deformable y son usadas para conservar la estructura del
modelo deformable; las externas están determinadas por la información de
la imagen en la que se encuentra dicho modelo y son usadas para mover el
modelo hacia los bordes de un objeto o forma que se encuentre en la
imagen [1].
La siguiente imagen muestra la segmentación de una imagen cerebral
con un contorno deformable y el resultado final de la reconstrucción del
modelo cerebral.
Fig. 2. Segmentación y reconstrucción de un modelo cerebral [1]
2.2 Técnicas de implementación
2.2.1
Minimización de energía
El modelo planteado para la minimización de energía busca una
curva en la imagen que minimice la suma de fuerzas internas y
externas ejercidas sobre el modelo deformable. Como fue explicado
anteriormente, las fuerzas internas previenen que el modelo
deformable pierda sus características básicas o se deforme demasiado,
mientras que las fuerzas externas (o fuerzas potenciales) hacen que
busque los contornos o bordes de un objeto o figura en la imagen.
Para que el modelo deformable encuentre el borde de la figura, se
inicializa al interior de la imagen y en el proceso es forzado a moverse
hacia la mínima energía potencial.
La formulación matemática de un modelo deformable es una curva
definida por:
(1)
Esta curva se mueve en la imagen con el fin de minimizar la
siguiente función de energía:
(2)
El primer término define la fuerza interna, encargada de conservar
el modelo deformable y hacer que se comporte como un objeto rígido
para que no cambie demasiado fácil. Este término define la tensión y
rigidez del modelo.
El segundo término define la fuerza potencial, que está determinada
por la información que hay en la imagen. Este término toma los
valores más pequeños en los bordes de los objetos o figuras de interés
para la deformación del modelo. La función que define este segundo
término es seleccionada según la naturaleza de los objetos de interés
que haya en la imagen dependiendo de la forma de las figuras y el
contraste de los colores.
Independientemente de la selección de la energía potencial, la
minimización de energías será la misma.
2.2.2
Modelos dinámicos
Este tipo de implementación tiene en cuenta el movimiento y la
forma, por lo tanto permite a los modelos evolucionar en el tiempo
hasta alcanzar un equilibrio, lo cual es de mucho valor en la medicina
pues
varios
órganos
y estructuras anatómicas experimentan
movimientos y deformaciones [9].
El uso de modelos deformables dinámicos hace más intuitiva la
información que presenta y la interacción del usuario con la misma
para usarlo en guías, prácticas, intervenciones o seguimientos.
La formulación matemática de un modelo deformable dinámico usa
principios de mecánicas de Lagrange. Un ejemplo de una snake
dinámica se presenta a continuación.
(3)
En esta ecuación, los primeros dos términos representan las fuerzas
de inercia y amortiguación, los demás representan las fuerzas interna
de estiramiento y flexión, y el término que se encuentra a la derecha
representa las fuerzas externas. El equilibrio se alcanza cuando las
fuerzas internas y externas se balancean y el contorno queda en
reposo [10].
2.2.3
Modelos discretos
Para realizar un procesamiento numérico para hallar la solución que
minimice energía es necesario hacer la energía discreta, para este fin
existen diversos acercamientos, el más común es representar el
modelo en término de combinaciones lineares. A continuación se
presenta la forma discreta de la energía de una snake.
(4)
En esta ecuación K es la matriz de rigidez, P(u) es la versión
discreta del potencial externo. La solución se alcanza dando el valor 0
al gradiente, que equivale a resolver el conjunto de ecuaciones
algebraicas:
(5)
La variable f representa el vector de fuerza externa.
Ahora la versión discreta de la ecuación 3 se podría escribir como
un conjunto de ecuaciones diferenciales de segundo orden para u(t)
como se muestra a continuación.
(6)
En esta ecuación, M es la matriz de masa y C es la matriz de
amortiguación.
2.2.4
Modelos probabilísticos
Otra forma de implementación de los modelos deformables es la
probabilística, la cual permite incluir conocimiento previo sobre el modelo y
calcular la incertidumbre una vez el proceso ha sido realizado a partir de
información de la imagen.
La variable u representa los parámetros del modelo deformable, P(u) es la
probabilidad de ellos.
sera la probabilidad de producir una imagen I a
partir de un modelo u.
Entonces el teorema de Bayes expresa la probabilidad de producir un
modelo a partir de la información de una imagen de la siguiente forma:
(7)
3
Estilos
Existen tres formas de realizar el proceso de deformación de modelos,
manual, automática y semi-automática. Cada una tiene ventajas y desventajas,
y para ellas existen técnicas distintas. A continuación se explica cada estilo de
deformación de modelos.
3.1 Interactiva (manual)
3.1.1
Qué es
La segmentación de imágenes es realizada por un usuario, ojalá con
conocimiento del modelo médico, de manera manual; es decir, el
usuario traza la línea que bordea el objeto que desea reconocer en la
imagen [10].
3.1.2
Ventajas
Debido a que el usuario puede tener un buen conocimiento de la
imagen, sabrá qué figuras hay en ella y podrá reconocer los objetos
con facilidad, al igual que las deformaciones que existan debido a
condiciones de salud del paciente.
3.1.3
Desventajas
Con esta forma de segmentar las imágenes el usuario debe realizar
la segmentación de cada una de las imágenes 2D que pertenezcan a un
modelo 3D; es decir, revisar cada una manualmente y repetir el
proceso en cada plano. Debido a esto, es una técnica demorada pues
depende directamente del número de imágenes por las cuales esté
compuesto un modelo médico en 3D. Si se trata de una imagen en 2D,
el tiempo que toma segmentarla no es mucho, depende de la dificultad
de la imagen, la calidad de la imagen y el conocimiento del usuario
sobre la imagen; pero de ser un modelo 3D, el proceso podría tomar
mucho tiempo, incluso podría tomar días y no resultaría una
herramienta útil para trabajos médicos ya que solo terminaría
entorpeciendo el trabajo del médico [10].
Además del tiempo que puede tomar, la calidad del proceso manual
se puede ver afectada por la fatiga del usuario, por subjetividades o
por falta de interés.
3.2 Automática
3.2.1
Qué es
La segmentación es realizada por un computador haciendo uso de
modelos matemáticos configurados con distintos parámetros según
el tipo de imagen.
3.2.2
Ventajas
El proceso de segmentación automática es mucho más eficiente que
la segmentación manual; el computador tiene la capacidad de
segmentar grandes cantidades de imágenes en menos tiempo que un
humano y realizar operaciones matemáticas con gran rapidez.
Además, la calidad de la segmentación no se verá afectada por la
posible fatiga del usuario o por el contexto en que se realice la
segmentación.
3.2.3
Desventajas
La segmentación automática depende de parámetros específicos
para cada tipo de imagen dependiendo de su naturaleza; por lo tanto,
no es un proceso que se pueda aplicar ciegamente a cualquier modelo
médico.
Otro inconveniente que existe debido a esta parametrización del
método de deformación es que está configurado para reconocer ciertas
figuras, por lo cual podría ignorar deformaciones que haya en el
modelo debido a condiciones médicas del paciente y generar modelos
incorrectos que no permitirán al médico hallar enfermedades o
irregularidades en el cuerpo del paciente.
3.3 Semiautomática
3.3.1
Qué es
La deformación semi-automática integra el trabajo del usuario y el
trabajo de la máquina para producir modelos más cercanos a la
realidad. Este proceso se puede realizar de distintas formas; no todas
integran los dos componentes, el usuario y la máquina, de la misma
forma.
3.3.2
Ventajas
La deformación semi-automática de modelos permite obtener
modelos más exactos debido a que la máquina realiza la deformación
con la ayuda del conocimiento del usuario, el cual puede intervenir el
proceso, dar ayudas a la máquina y corregir la deformación; o puede
funcionar al revés, el usuario realiza la segmentación de las imágenes
con ayuda de la máquina para facilitar el trazado de líneas y brindarle
retroalimentación y ayudas [10].
3.3.3
Desventajas
No es fácil determinar cuál es la mejor forma de integrar al usuario
con la máquina, unas resultan más exitosas que otras dependiendo lo
que se desee obtener; si el usuario realiza la mayor parte del proceso
de segmentación habrá más exactitud y correspondencia con la
realidad apoyada en pequeñas ayudas que brinde la máquina, pero si
la máquina realiza la mayor parte del proceso, este se hará más rápido
con la intervención del usuario para corregirlo pero sin permitirle
cambiar demasiado el resultado.
3.3.4
Técnicas
Este estilo de deformación de modelos fue propuesto con el fin de
tener un proceso de segmentación rápido y preciso, ya que permite
que el conocimiento del médico experto y la máquina apoyen el
proceso para que los modelos se generen correcta y rápidamente.
Existen diversas técnicas de deformación automática como Snakes
[3], Live-wire [6], y otras [11, 12, 13, 14, 15, 16] que permiten
integrar la interacción del usuario; sin embargo, algunas de ellas están
pensadas únicamente para la segmentación en 2D.
3.3.5
Interacción en la actualidad
La segmentación de imagines 3D se realiza plano a plano,
independientemente de la técnica usada (manual o automatic). Es un
proceso que toma mucho tiempo pues depende directamente del
número de planos que conforman la imagen y luego de la
segmentación de ellos, se depende de procesos de post-procesamiento
para conectarlos y formar el modelo 3D [10].
Para solucionar los problemas mencionados, se puede realizar la
segmentación de imágenes 3D haciendo uso de un híbrido de técnicas,
o una técnica semi-automática. En la mayoría de técnicas semiautomáticas el usuario corrige la segmentación realizada por la
máquina luego de que ha sido realizada o el usuario realiza la
segmentación mientras la máquina le brinda información o facilita el
proceso de trazar el modelo en la imagen.
3.3.5.1 Interacción apoyada por la máquina
Este tipo de aplicaciones usualmente permiten al usuario inicializar
un modelo deformable dentro del dominio de la imagen, cerca del
objeto de interés, luego el modelo deformable se deforma para
detectar el objeto; una vez este proceso finaliza los usuarios pueden
interactuar con la técnica de deformación, arreglando manualmente el
resultado del modelo deformable para que se ajuste a la realidad.
Muchas de estas técnicas usan el resultado inicial para luego
realizar aproximaciones en otros planos de la imagen y finalmente
generar un resultado en 3D [10].
Un ejemplo de deformación interactiva de modelos 3D que se
realiza basado en la deformación de planos 2D es TurtleSeg. Esta es
una aplicación de segmentación de imágenes de forma interactiva que
permite al usuario segmentar planos de una imagen 3D con ayuda de
la máquina, que además propone nuevos planos de segmentación
sobre los que el usuario marca los contornos. La máquina extiende la
segmentación a planos intermedios, luego usa los originales y los
intermedios para generar el modelo en 3D [5].
Fig. 1. Segmentación y generación de modelos con TurtleSeg [4]
En la generación del contorno, la máquina propone el camino más
apropiado entre una semilla o seedpoint inicial dada por el usuario y
otros pixeles de la imagen, el usuario propone más seedpoints cada
vez que a su parecer el contorno esté siendo generado de manera
incorrecta. Un método usado para buscar qué camino debe seguir el
contorno es el algoritmo de Graph Search propuesto por Barret y
Mortenson [6].
La técnica de segmentación interactiva en 3D propuesta hasta el
momento por y Hamarneh [7], segmenta varios planos en 2D con la
ayuda del usuario, y luego segmenta de manera automática planos en
el plano ortogonal sobrante, es decir, sobre el cual el usuario no
realizó la segmentación. Los puntos de intersección entre los
contornos generados y el corte ortogonal que no fue segmentado se
usan
como
seedpoints
para
una
operación
automática
de
segmentación.
En la generación de los contornos automáticos se usa el algoritmo
llamado Turtle [8], que puede manejar la organización de puntos
incluso en figuras de estructuras complejas como picos y
concavidades.
La generación de modelos con planos segmentados semiautomáticamente permite a la máquina proponer nuevos planos de
segmentación para mejorar la figura que se ha segmentado hasta el
momento. Es decir, si el usuario no se encuentra satisfecho con el
resultado actual aún es posible segmentar más planos y generar
figuras más acertadas.
Fig. 2. Segmentación automática de planos adicionales [7]
La siguiente imagen presenta el resultado final de la segmentación
de los huesos de una mano.
Fig. 5. Modelo de los huesos de una mano en 3D [4]
4
Aplicaciones
4.1 Detección de movimiento
Los modelos deformables permiten hacer seguimiento de figuras en
movimiento como son las células de sangre, cine-angiografía de arterias
coronarias, cine-mocroscopia de crecimiento de neuritas, entre otras. El uso
más claro en la medicina es hacer seguimiento de órganos que se mueven
como el corazón.
Fig. 6. Motion tracking de un corazón
Otra área de aplicación es el reconocimiento de patrones, como es el
movimiento y deformación de los labios para reconocer lo que una persona
dice [18].
Fig. 7. Motion tracking de labios
4.2 Segmentación de imágenes
La segmentación de imágenes es un proceso necesario para diversas
aplicaciones menos básicas, como es el motion tracking explicado
anteriormente. Este proceso requiere que una imagen sea dividida en
secciones más pequeñas de la misma para reconocer estructuras que la
conforman. Por ejemplo en planos, en los cuales se reconocen los contornos
que componen una figura de interés y luego al unir la segmentación de cada
plano es posible reconstruir un modelo 3D de la figura de interés [10].
La segmentación de imágenes es realizada en mayor parte de forma
interactiva (manual) ya que de ser realizada en condiciones adecuadas brinda
los resultados más útiles para realizar un diagnóstico médico adecuado. Sin
embargo, como ya fue explicado sobre las técnicas manuales, estas pueden
sufrir de subjetividades relacionadas al médico experto que realiza la
segmentación como son el conocimiento insuficiente del modelo, cansancio,
desinterés, etc.
Para la segmentación de imágenes han surgido diversas técnicas e híbridos
de técnicas que responden a problemáticas como el tiempo consumido o la
imperfección de los modelos generados, al igual que responden a las
dificultades que supone segmentar imágenes con baja calidad, bajo contraste,
bordes mal definidos, etc.
5
Conclusiones
La deformación de modelos es una técnica que ha brindado solución a una
gran variedad de problemas inherentes a la segmentación de imágenes; sin
embargo, al abrir campo a la investigación y a la realización de nuevas
aplicaciones en diversos contextos médicos, los modelos deformables también
han creado una gran variedad de temas que requieren soluciones y de
aplicaciones que deben ser mejoradas.
Además, los modelos deformables han surgido con sus propias dificultades
o defectos, que usualmente dependen directamente de la técnica empleada, y
no hay una técnica automática o manual que funcione para cualquier caso de
manera completamente satisfactoria, esto se debe a que ambas tienen
desventajas respecto a la forma en que se ejecutan.
Las técnicas semi-automáticas de momento son la técnica que garantiza
mayor calidad en la deformación de modelos ya que permite realizar un
proceso rápido en ejecución y controlado por el conocimiento del médico
experto; a pesar de eso, estas técnicas aún pueden ser mejoradas para hacer la
interacción del médico en el proceso de segmentación más natural y atractiva,
de forma que el control que se tiene sobre el modelo sea suficiente como para
decir que la máquina trabaja para apoyar al médico y no el médico para
mejorar el proceso de la máquina.
Referencias
1. C. Xu, D. L. Pham, and J. L. Prince, "Medical Image Segmentation Using
Deformable Models," Handbook of Medical Imaging -- Volume 2: Medical
Image Processing and Analysis, pp. 129-174, edited by J.M. Fitzpatrick
and M. Sonka, SPIE Press, May 2000.
2. Blake C. Lucas, Michael Kazhdan, Russell H. Taylor, "Spring Level Sets: A
Deformable Model Representation to Provide Interoperability between
Meshes and Level Sets," IEEE Transactions on Visualization and
Computer Graphics, vol. 19, no. 5, pp. 852-865, May 2013.
3. M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: active contour models,”
Int’l J. Comp. Vis., vol. 1, no. 4, pp. 321–331, 1987.
4. Top, A., Hamarneh, G., Abugharbieh, R. (2013). Turtleseg [Online].
Disponible en: http://www.turtleseg.org/index.php?page=gallery
5. Top, A., Hamarneh, G., Abugharbieh, R. “Spotlight: Automated
confidence-based user guidance for increasing efficiency in interactive
3D image segmentation,” In: Menze, B., Langs, G., Tu, Z., Criminisi, A.
(eds.) MICCAI Medical Computer Vision Workshop, LNCS, vol. 6533, pp.
204–213. Springer Berlin / Heidelberg (2010)
6. W. A. Barrett and E. N. Mortensen, “Interactive live-wire boundary
extraction,” Medical Image Analysis 1(4), pp. 331–341, 1996.
7. G. Hamarneh, J. Yang, C. McIntosh, and M. Langille, “3D live-wire-based
semi-automatic segmentation of medical images,” Proceedings of SPIE
Medical Imaging: Image Processing 5747, pp. 1597–1603, 2005.
8. Miranda
Poon,
Ghassan
Hamarneh,
and
Rafeef
Abugharbieh. “Segmentation of Complex Objects with Non-Spherical
Topologies from Volumetric Medical Images using 3D Livewire,” In SPIE
Medical Imaging, volume 6512, pages 1-10, 2007.
9. T. Mcinerney, “Deformable Models,” in in Handbook of Medical Image
Processing and Analysis, Elsevier, 2009, pp. 145–166.
10. T. McInerney and D. Terzopoulos, “Deformable models in medical image
analysis: a survey,” Medical Image Analysis, vol. 1, no. 2, pp. 91–108, Jun.
1996.
11. T. McInerney and H. Dehmeshki, “User-defined b-spline templatesnakes.,” in MICCAI(2), pp. 746–753, 2003.
12. E. N. Mortensen and W. A. Barrett, “Intelligent scissors for image
composition,” in Computer Graphics Proceeding, Annual Conference
Series, pp. 191–198, ACM, (Los Angeles, CA), Aug. 1995. SIGGRAPH’95.
13. E. N. Mortensen and W. A. Barrett, “Interactive segmentation with
intelligent scissors,” Graphical Models
and Image Processing 60, pp. 349–384, September 1998.
14. T. Mitsunaga, T. Yokoyama, and T. Totsuka, “Autokey: Human assisted
key extraction,” in Computer
Graphics Proceedings, SIGGRAPH’95, Annual Conference Series, pp.
265–272, ACM, (L.A., CA), August
1995.
15. M. Gleicher, “Image snapping,” in Computer Graphics Proceedings,
SIGGRAPH’95, Annual Conference
Series, pp. 183–190, ACM, (L.A., CA), August 1995.
16. A. X. Falco, J. K. Udupa, S. Samarasekera, S. Sharma, B. E. Hirsch, and R.
de A. Lotufo, “User-steered image segmentation paradigms: Live wire
and live lane,” Graphical Models and Image Processing 60, pp. 233–260,
July 1998
17. Blake C. Lucas, Michael Kazhdan, Russell H. Taylor, "Spring Level Sets: A
Deformable Model Representation to Provide Interoperability between
Meshes and Level Sets," IEEE Transactions on Visualization and
Computer Graphics
18. Syin Chan, Chong Wah Ngo, Kok F. Lai, Motion tracking of human mouth
by generalized deformable models, Pattern Recognition Letters, Volume
20, Issue 9, 20 September 1999