Download Cuestiones teóricas - Universidad Politécnica de Madrid

UNIVERSIDAD POLITÉCNICA DE MADRID
DEPARTAMENTO DE INGENIERÍA
ELÉCTRICA,
ELECTRÓNICA,
AUTOMÁTICA Y FÍSICA APLICADA
Prácticas de Visión Artificial
Práctica 3
Calibración de cámaras de vídeo
3.2
Calibración de cámaras
3
CALIBRACIÓN DE CÁMARAS DE VÍDEO ..................................................................... 3
3.1
CALIBRACIÓN DE CÁMARAS .............................................................................................. 3
3.1.1
EL MODELO PROYECTIVO DE LA FORMACIÓN DE IMÁGENES ..................................... 3
3.2
CUESTIONES TEÓRICAS ...................................................................................................... 6
3.3
CUESTIONES PRÁCTICAS .................................................................................................... 6
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial
Calibración de cámaras
3
3.3
Calibración de cámaras de vídeo
El objetivo de la práctica consistirá en el aprendizaje de técnicas de calibración de
las cámaras de vídeo, las cuales determinan los parámetros intrínsecos y extrínsecos de
ésta. Una vez calibrada, se podrá mostrar algunos objetos y se estimará a qué distancia se
encuentran de la cámara.
3.1 Calibración de cámaras
El proceso de calibración de imágenes trata de determinar los parámetros
intrínsecos de las cámaras, tales como la distancia focal, el centro del plano sensor y la
distorsión de la lente para poder posteriormente determinar la geometría de los objetos
observados por la cámara.
La forma de actuar consiste en tomar un conjunto de imágenes con la cámara
permaneciendo invariante los parámetros intrínsecos de ésta, esto es, no se puede mover el
enfoque de la óptica de la cámara ya que afectaría a la distancia focal. Tampoco se puede
variar el diagrama, pues el modelo de distorsión se modificaría. A parámetros intrínsecos
constantes se adquieren varias imágenes tomando fotos de un objeto patrón. El objeto
patrón suele ser un tablero de ajedrez para facilitar la búsqueda de puntos significativos.
Estos puntos del espacio son las esquinas de los cuadrados de ajedrez.
La idea consiste en localizar los parámetros intrínsecos a través de n-conjunto de
ecuaciones que se establece entre los puntos del espacio, la geometría conocida (en este
caso, el tamaño de la cuadrícula del ajedrez) y la proyección de estos puntos sobre el
elemento sensor que son determinados con precisión subpixel.
Una vez fijado los parámetros intrínsecos de la cámara es posible determinar a qué
distancia se encuentran los objetos respecto a la cámara. Al vector de traslación junto a la
matriz de rotación que relaciona los puntos del espacio con sus proyecciones en el
elemento sensor se les llama los parámetros extrínsecos.
A continuación se explica el modelo de la cámara, definiendo, de esta manera, los
parámetros intrínsecos y extrínsecos de la cámara
3.1.1 El modelo proyectivo de la formación de imágenes
El proceso de adquisición de una imagen por el sistema de Visión Artificial se
modela en dos pasos: la formación de la imagen en el elemento sensor a través de los
elementos ópticos y la digitalización de la señal proveniente de la cámara. Cada uno de
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial
3.4
Calibración de cámaras
estos procesos se puede modelar de distintas formas, más o menos complejas.
El modelo pin-hole es el más simple para representar la formación de la imagen.
Está basado en la Proyección Perspectiva y reduce el sistema óptico a un punto llamado
centro óptico, C. Cada punto del espacio se proyecta por un único rayo luminoso que pasa
por el centro óptico, situado a una distancia f (distancia focal), hasta el plano de la imagen.
El eje óptico es la línea perpendicular al plano de la imagen que pasa por el centro óptico.
Con este modelo y con una secuencia de imágenes adquiridas consecutivamente en
el tiempo se trata de obtener la percepción visual de los objetos proyectados en el plano
sensor. Para diferenciar las imágenes unas de otras se indexarán los parámetros. Así la
proyección de un punto en el espacio Mwi(xwi , ywi , zwi), teniendo el eje de coordenadas
sobre el punto focal de la posición indexada i (ver figura 1), se transforma en un punto
sobre el plano sensor, estableciéndose la relación no lineal de:
xi
x
  wi
fi
z wi
yi
y
  wi
fi
z wi
(1)
Figura 1. Modelo pin-hole de la cámara
siendo xi e yi las coordenadas del punto proyectado. El signo menos refleja el
carácter invertido del modelo. Obsérvese que estas proporciones están referenciadas en
magnitudes de longitud, generalmente expresada en milímetros. Sin embargo, los
algoritmos de extracción de las coordenadas del punto proyectado serán dados en píxeles.
Habrá que proponer la conveniente conversión.
Para la transformación se requiere conocer el centro del plano sensor Ci (cxi, cyi);
estos valores serán dados en píxeles desde el origen de coordenadas de la imagen
digitalizada, es decir, la esquina superior izquierda. También es necesario conocer la
distancia interpixel de la cámara tanto en filas como en columnas (dx, dy). Hay que destacar
que Ci es uno de los parámetros intrínsecos de la cámara, pues el desplazamiento del zoom
o el enfoque de las ópticas hará variar este parámetro de una imagen a otra. En cambio, las
distancias interpixel se mantendrán al ser un parámetro de fabricación. No obstante, la
diferencia entre el número de columnas sensoras de la cámara y la frecuencia de muestreo
de la línea modificará el valor interpixel de dy. Además habrá de considerar el efecto de
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial
Calibración de cámaras
3.5
pérdida de sincronismo en la lectura de la línea que suele evaluarse por el factor de
incertidumbre, ky. Por tanto, se redefine d’y como:
d'y  d y
nsy
n py k y
(2)
donde nsy es el número de elementos sensores columna que hay en una cámara y npy
es el número de píxeles de la imagen digitalizada.
Del planteamiento presentado se deduce que la relación existente entre el punto
proyectado sobre el elemento sensor y su valor en píxeles sobre la imagen digitalizada
resulta ser:
 xi   p xi  c xi d x
 yi  Pyi  c yi d y
(3)
teniendo pxi e pyi que son las coordenadas en píxeles de la imagen sobre el punto
proyectado en la zona sensible. Esta disposición de los signos hará eliminar el
anteriormente mencionado efecto inversor del modelo pin-hole. Insertando las expresiones
de la ( 3 ) en la ec. ( 1 ) y presentándolo en coordenadas homogéneas y en notación
matricial se tendrá:
 fi

 p xi   d x
 
 p yi    0
 1  
   0


0
fi
d y
0
x

c xi  wi
z wi 


y

c yi  wi
z wi 

1  1 




( 4)
En ( 4) está implícito el carácter ortogonal de los ejes de proyección. En el caso de
que no fuese así, el mapa de píxeles podría generalizarse a:
 fi

 p xi   d x
 
 p yi    0
 1  
   0



fi
fi
dy
d y
0

c xi  x wi
z wi 


y wi



c yi
z wi 

1  1 




( 5)
donde  es un escalar que mide el desplazamiento rotacional entre los dos ejes
principales; si  es cero es que éstos son perpendiculares.
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial
3.6
Calibración de cámaras
3.2 Cuestiones teóricas
Para la calibración de la cámara del laboratorio se va a emplear la herramienta
“Camera
Calibration
Toolbox”
de
Jean-Yves
Bouguet
(http://www.vision.caltech.edu/bouguetj/calib_doc/index.html). Se pide:
1. Explicar el procedimiento de calibración de la cámara de Bouguet.
2. Describir los parámetros de calibración de la cámara y relacionar los
parámetros del modelo de Jean-Yves Bouguet con los dados en el marco
teórico.
3. Comentar las características más importante de la cámara empleada en la
práctica, sabiendo que es el modelo GENIUS VideoCAM NB y que el
sensor es el TAS5110C1B 100K. Opcionalmente puede ser sustituido por
las características de la cámara personal que se utilice en esta práctica.
4. Calcular los parámetros intrínsecos iniciales del modelo de Jean-Yves
Bouguet, sabiendo que la distancia focal de la óptica es de 3 mm.
Considérese que no hay distorsión en la lente y que los ejes de proyección
son ortonormales.
3.3 Cuestiones prácticas
Siga el siguiente procedimiento:
1.
Adquirir cuatro imágenes del objeto patrón en diferentes posiciones
respecto a la cámara. Se tomarán a una distancia de 500, 700, 900 y 1100
milímetros respecto a la cámara, intentando que sea lo más perpendicular
posible entre el eje óptico y el plano del patrón. NO MODIFICAR EL
ENFOQUE. Guardar la información de luminancia en formato JPG.
Depositar las imágenes en una carpeta vacía. Utilícese “Image
Acquisition Toolbox” para la captura de las imágenes y empleé las
funciones rgb2gray e imwrite de “Image Processing Toolbox”
2.
Añadir la herramienta de calibración al entorno de Matlab mediante el
comando:
addpath(‘<<camino del directorio>>\TOOLBOX_calib’);
3.
Proceder con el protocolo de Jean-Yves Bouguet para obtener los
parámetros intrínsecos de la cámara.
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial
Calibración de cámaras
3.7
4.
Determinar el modelo de distorsión de la óptica de la cámara.
5.
Colocar el objeto patrón a una distancia de un metro de la cámara.
Determinar los parámetros extrínsecos de la rejilla de ajedrez. ¿Son
acertado los valores dados por la calibración?.
Departamento de Ingeniería Eléctrica, Electrónica, Automática y Física Aplicada
Escuela Técnica Superior de Ingeniería y Diseño Industrial