Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CALIBRATING A VIDEO COUNTER SYSTEM
Document Type and Number:
WIPO Patent Application WO/2014/118091
Kind Code:
A1
Abstract:
The invention relates to a method for calibrating a video counter system (100) that comprises a camera (102) and a computer (104) and is provided for counting people crossing a counting line (56) that extends between both edges (51, 52) of a passageway (50). Said calibration method comprises: a step of placing five targets (110a-e) onto the passageway (50) such that a first target (110a) is arranged on one of the ends of the counting line (56), a second target (110b) is spaced apart from the first target (110a) on the counting line (56) but spaced apart from the other end thereof, a third target (110c) and a fourth target (110d) are arranged away from the counting line (56), and a fifth target (110e) is arranged on the other end of the counting line (56); a step of capturing an image of the targets (110a-e) by means of the camera (102); a step of sending the image to the computer (104); a step of searching, on the image, for points representing the targets (110a-e); a step of calculating the extrinsic parameters of the camera (102); and a step of determining, on the basis of the point representing the first target (110a) and of the point representing the fifth target (110e), the position and the ends of the counting line (56).

Inventors:
DELATTRE LAURENT (FR)
MILON CHRISTOPHE (FR)
MAGDELAINE ADRIEN (FR)
Application Number:
PCT/EP2014/051437
Publication Date:
August 07, 2014
Filing Date:
January 24, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ECO COMPTEUR (FR)
International Classes:
G06T7/00
Foreign References:
US20120020518A12012-01-26
Other References:
YANG CONG ET AL: "Flow mosaicking: Real-time pedestrian counting without scene-specific learning", 2009 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION : CVPR 2009 ; MIAMI [BEACH], FLORIDA, USA, 20 - 25 JUNE 2009, IEEE, PISCATAWAY, NJ, 20 June 2009 (2009-06-20), pages 1093 - 1100, XP031607175, ISBN: 978-1-4244-3992-8
KIN-YI YAM ET AL: "Effective bi-directional people flow counting for real time surveillance system", CONSUMER ELECTRONICS (ICCE), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 9 January 2011 (2011-01-09), pages 863 - 864, XP031921554, ISBN: 978-1-4244-8711-0, DOI: 10.1109/ICCE.2011.5722907
Z.Y. ZHANG: "A Flexible New Technique for Camera Calibration", IEEE TRANS.PATTERN ANAL. MACH. INTELL., vol. 22, 2000, pages 1330 - 1334
OBERKAMPF, ITERATIVE POSE ESTIMATION USING COPLANAR FEATURE POINTS, 1996
Attorney, Agent or Firm:
MAILLET, ALAIN (FR)
Download PDF:
Claims:
REVENDICATIONS

1) Procédé de calibration (200) d'un système de comptage vidéo (100) comportant une caméra (102) et un calculateur (104), ledit système de comptage (100) étant prévu pour compter des individus traversant une ligne de comptage (56) qui s'étend entre les deux bords (51, 52) d'une voie de passage (50), ledit procédé de calibration (200) comportant:

- une étape de mise en place (201) au cours de laquelle cinq cibles (1 lOa-e) sont mises en place sur la voie de passage (50) de manière à ce qu'une première cible (110a) soit disposée à l'une des extrémités de la ligne de comptage (56), à ce qu'une deuxième cible (110b) soit disposée à distance de la première cible (110a) sur la ligne de comptage (56) mais à distance de son autre extrémité, à ce qu'une troisième cible (110c) et une quatrième cible (1 lOd) soient disposées à l'écart de la ligne de comptage (56), et à ce qu'une cinquième cible (110e) soit disposée à l'autre extrémité de la ligne de comptage (56),

- une étape de capture (202) au cours de laquelle au moins une image des cibles (1 lOa-e) est capturée par la caméra (102),

- une étape de transmission (204) au cours de laquelle l'image ou au moins l'une des images ainsi capturée est transmise au calculateur (104),

- une étape de recherche (206) au cours de laquelle le calculateur (104) recherche, sur l'image ou les images ainsi transmises, les points représentant les cibles (110a-e),

- une étape de calcul (208) au cours de laquelle, à partir des points représentant les quatre premières cibles (110a-d) ainsi trouvés, le calculateur (104) calcule les paramètres extrinsèques de la caméra (102),

- une étape de détermination (210) au cours de laquelle, à partir du point représentant la première cible (110a) et du point représentant la cinquième cible (110e) ainsi trouvés, le calculateur (104) détermine la position et les extrémités de la ligne de comptage (56). 2) Procédé de calibration (200) selon la revendication 1, caractérisé en ce que les quatre premières cibles (110a-d) forment un quadrilatère et en ce que l'une des diagonales dudit quadrilatère s'étend entre la première cible (110a) et la deuxième cible (110b).

Description:
Procédé de calibration d'un système de comptage vidéo

La présente invention concerne un procédé de calibration d'un système de comptage vidéo.

Un système de comptage d'individus sur une voie de passage nécessite une caméra et un calculateur relié à la caméra et qui analyse les images délivrées par la caméra pour en déduire le nombre d'individus passant devant la caméra.

Pour que le dénombrement soit le plus exact possible, le système de comptage doit être calibré.

Actuellement, aucun procédé de calibration ne donne entière satisfaction.

Un objet de la présente invention est de proposer un procédé de calibration qui ne présente pas les inconvénients de l'art antérieur et qui en particulier permet de calibrer le système de comptage vidéo en fonction de la topologie de la voie de passage et de la position de la caméra par rapport à cette voie de passage.

A cet effet, est proposé un procédé de calibration d'un système de comptage vidéo comportant une caméra et un calculateur, ledit système de comptage étant prévu pour compter des individus traversant une ligne de comptage qui s'étend entre les deux bords d'une voie de passage, ledit procédé de calibration comportant: - une étape de mise en place au cours de laquelle cinq cibles sont mises en place sur la voie de passage de manière à ce qu'une première cible soit disposée à l'une des extrémités de la ligne de comptage, à ce qu'une deuxième cible soit disposée à distance de la première cible sur la ligne de comptage mais à distance de son autre extrémité, à ce qu'une troisième cible et une quatrième cible soient disposées à l'écart de la ligne de comptage, et à ce qu'une cinquième cible soit disposée à l'autre extrémité de la ligne de comptage,

- une étape de capture au cours de laquelle au moins une image des cibles est capturée par la caméra,

- une étape de transmission au cours de laquelle l'image ou au moins l'une des images ainsi capturée est transmise au calculateur,

- une étape de recherche au cours de laquelle le calculateur recherche, sur l'image ou les images ainsi transmises, les points représentant les cibles,

- une étape de calcul au cours de laquelle, à partir des points représentant les quatre premières cibles ainsi trouvés, le calculateur calcule les paramètres extrinsèques de la caméra,

- une étape de détermination au cours de laquelle, à partir du point représentant la première cible et du point représentant la cinquième cible ainsi trouvés, le calculateur détermine la position et les extrémités de la ligne de comptage.

Avantageusement, les quatre premières cibles forment un quadrilatère et l'une des diagonales dudit quadrilatère s'étend entre la première cible et la deuxième cible.

Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :

la Fig. 1 est une représentation schématique d'une voie de passage sur laquelle un système de comptage vidéo est mis en place, et

la Fig. 2 est un algorithme d'un procédé de calibration selon l'invention.

La Fig. 1 montre une voie de passage 50, par exemple du type voie piétonne, délimitée par deux bords 51 et 52 entre lesquels des individus sont susceptibles de passer.

Une ligne de comptage 56 s'étend entre les deux bords 51 et 52 de la voie de passage 50. Un système de comptage vidéo 100 comprenant une caméra 102 et un calculateur 104 est mis en place au-dessus de la voie de passage 50. Le système de comptage 100 est prévu pour dénombrer les individus qui traversent la ligne de comptage 56.

La caméra 102 est disposée au-dessus de la voie de passage 50 de manière à ce que son angle de vue englobe la totalité de la ligne de comptage 56. La caméra 102 se situe généralement entre 5 m et 7 m au-dessus du sol.

La Fig. 2 montre un algorithme d'un procédé de calibration 200 du système de comptage 100.

Les paramètres intrinsèques de la caméra 102 sont déterminés en usine et sont:

- la focale f qui donne le format d'image induit par le capteur avec les deux facteurs d'agrandissement de l'image kx et ky qui relient les dimensions en pixels avec leurs valeurs réelles dans la matrice CCD de la caméra 102,

- les coordonnées du centre optique ux et uy,

- le facteur de cisaillement qui prend en compte la non-orthogonalité entre les lignes et les colonnes du capteur.

La détermination des paramètres intrinsèques de la caméra 102 peut être réalisée de différentes méthodes. A titre d'exemple, le document de Z.Y. Zhang, intitulé "A Flexible New Technique for Caméra Calibration" et publié sous la référence "IEEE Trans.Pattern Anal. Mach. Intell. 2000; 22: 1330-1334" propose une méthode possible.

Pour permettre la mise en œuvre du procédé de calibration 200, cinq cibles 1 lOa-e sont disposées sur le sol de la voie de passage 50.

Les cinq cibles 110a-e se décomposent en un premier groupe de quatre cibles 1 lOa-d et en un deuxième groupe d'une cible 110e.

Le premier groupe présente une première cible 110a qui est disposée à l'une des extrémités (ici le bord 51) de la ligne de comptage 56 et une deuxième cible 110b qui est disposée à distance de la première cible 110a sur la ligne de comptage 56 mais à distance de son autre extrémité (ici le bord 52). La première cible 110a et la deuxième cible 110b matérialisent la direction de la ligne de comptage 56.

Le premier groupe présente également une troisième cible 110c et une quatrième cible HOd qui sont disposées à l'écart de la ligne de comptage 56 de manière à ce qu'une image des cibles 110a-d du premier groupe, capturée par la caméra 102, permette au calculateur 104 de calculer les paramètres extrinsèques de la caméra 102. La cinquième cible 110e du deuxième groupe est disposée à l'autre extrémité de la ligne de comptage 56 (ici le bord 52). La première cible 110a et la cinquième cible 110e permettent au calculateur 104 de déterminer sur une image prise par la caméra 102 la position et la longueur de la ligne de comptage 56.

Les trois cibles 110a, 110b et 110e ainsi alignées déterminent la ligne de comptage 56.

Dans le mode de réalisation de l'invention présenté sur la Fig. 1, les cibles 1 10a- d du premier groupe forment un quadrilatère dont l'une des diagonales s'étend entre la première cible 110a et la deuxième cible 110b c'est à dire le long de la ligne de comptage 56.

Selon un mode de réalisation particulier, le quadrilatère est un carré et, plus particulièrement, les côtés du carré ont une longueur de 5 m.

Les cibles 110a-e sont par exemple des marques circulaires et colorées qui sont déposées sur le sol.

Le procédé de calibration 200 comporte:

- une étape de mise en place 201 au cours de laquelle les cinq cibles 1 lOa-e sont mises en place,

- une étape de capture 202 au cours de laquelle au moins une image des cibles 1 lOa-e est capturée par la caméra 102,

- une étape de transmission 204 au cours de laquelle l'image ou au moins l'une des images ainsi capturée est transmise au calculateur 104,

- une étape de recherche 206 au cours de laquelle le calculateur 104 recherche, sur l'image ou les images ainsi transmises, les points représentant les cibles 1 lOa-d du premier groupe et la cible 110e du deuxième groupe,

- une étape de calcul 208 au cours de laquelle, à partir des points représentant les cibles 110a-d du premier groupe ainsi trouvés, le calculateur 104 calcule les paramètres extrinsèques de la caméra 102,

- une étape de détermination 210 au cours de laquelle, à partir du point représentant la première cible 110a et du point représentant la cinquième cible 110e ainsi trouvés, le calculateur 104 détermine la position et les extrémités de la ligne de comptage 56 sur une image.

Après l'étape de mise en place 201, le procédé s'effectue automatiquement.

Ainsi à partir du procédé de calibrage 200, le calculateur 104 détermine les paramètres extrinsèques de la caméra 102 et la position et les limites de la ligne de comptage 56 sur les images capturées par la caméra 102. Le système de comptage 100 est ainsi calibré et de ces éléments, le calculateur 104 peut, après capture d'images successives par la caméra 102, dénombrer le nombre d'individus traversant la ligne de comptage 56 grâce à un algorithme de comptage qui ne fait pas l'objet de la présente invention.

L'étape de recherche 206 consiste, pour le calculateur 104, à détecter sur l'image les zones qui sont identiques en couleurs aux cibles 110a-e. Dans la mesure où les cibles 110a-e présentent une certaine étendue, l'étape de recherche 206 calcule le barycentre de chaque zone ainsi trouvée pour l'assimiler à un point. La recherche des cibles 1 lOa-e dans l'image s'effectue par exemple à l'aide d'un logiciel de détection de couleurs dans une image.

A partir des points ainsi trouvés, le calculateur 104 calcule les paramètres extrinsèques de la caméra 102 par une méthode appropriée comme par exemple celle décrite dans le document "Itérative Pose Estimation Using Coplanar Feature Points" de Oberkampf et publié en 1996. Les paramètres extrinsèques spécifient la position de la caméra 102 par rapport à un repère de l'espace, c'est à dire la position de la caméra 102 dans l'espace, l'angle de son axe de visée par rapport au sol...

Si les cibles 110a-e sont de couleurs différentes, chaque point image représentant une cible 110a-e est parfaitement identifiable par sa couleur et le calculateur 104 peut alors affecter chaque point de l'image ainsi trouvé à la cible 110a- e correspondante. La connaissance des points de l'image représentant les cibles 1 lOa-d du premier groupe permet de calculer les paramètres extrinsèques de la caméra 102.

Le calculateur 104 détermine alors également, sur l'image, le point représentant la première cible 110a et le point représentant la cinquième cible 110e et le calculateur 104 détermine ainsi sur l'image la position de la ligne de comptage.

Si les cibles 1 lOa-e sont de la même couleur, le calculateur 104 identifie les cinq points de l'image représentant les cibles 110a-e sans pouvoir identifier directement chacun d'eux. Pour chaque groupe de quatre points de l'image, le calculateur 104 affecte un ordre à chacun d'eux. Cet ordre est censé correspondre à l'ordre des cibles 110-d du premier groupe. A partir de cette affectation, le calculateur 104 calcule les paramètres extrinsèques de la caméra 102. Le calculateur 104 recommence ce calcul en modifiant l'ordre ainsi affecté dudit groupe de quatre points de l'image. Le calculateur 104 recommence également le calcul pour chaque groupe de quatre points de l'image. Ainsi, pour chaque groupe de quatre points de l'image et pour chaque ordre possible parmi ces quatre points, le calculateur 104 calcule un ensemble de paramètres extrinsèques de la caméra 102.

Parmi ces ensembles de paramètres extrinsèques, le calculateur 104 choisit celui qui est le plus proche des positions les plus réalistes, par exemple, en éliminant les ensembles dont les paramètres sont en dehors de limites conventionnelles d'implantation. En effet, la caméra 102 est placée entre 4.5m et 8m et orientée selon un angle d'environ 45°±10°, et tous les ensembles qui ont des paramètres extrinsèques en dehors de ces intervalles ne sont pas admissibles.

Lorsque l'ensemble de paramètres extrinsèques le plus proche est choisi, le calculateur 104 connaît alors les points de l'image correspondant aux cibles 1 lOa-d du premier groupe, et plus particulièrement le point représentant la première cible 110a. Le calculateur 104 détermine alors la position du point de l'image représentant la cinquième cible 110e et il détermine ainsi sur l'image la position de la ligne de comptage.

Dans le mode de réalisation de l'invention présenté ici, la ligne de comptage 56 est perpendiculaire à l'axe de la voie de passage 50, mais il est possible de prévoir qu'elle présente un angle différent de 90° par rapport à l'axe de la voie de passage 50.

Bien entendu, la présente invention n'est pas limitée aux exemples et modes de réalisation décrits et représentés, mais elle est susceptible de nombreuses variantes accessibles à l'homme de l'art.