Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR ASSISTING WITH THE MANIPULATION OF AT LEAST N GRAPHICAL IMAGE PROCESSING VARIABLES
Document Type and Number:
WIPO Patent Application WO/2017/118783
Kind Code:
A1
Abstract:
Method for assisting with the manipulation of at least n graphical image processing variables by a user equipped with a control device including a plurality of activation modes, on the basis of a control polygon appearing on a screen section equipped with a reference point, at least each vertex of which represents a processing variable, each vertex being movable between two limiting points defining a direction of action by means of at least one activation mode of said control device, a movement in this direction signifying a modification of the value of the variable that is proportional to the amplitude of the movement.

Inventors:
TCHOUMOU JEAN-THIERRY (FR)
TCHOUMOU PASCAL (FR)
RODRIGUEZ-TORRECILAS MATTHIAS (FR)
JAULMES BORIS (FR)
Application Number:
PCT/FR2016/000218
Publication Date:
July 13, 2017
Filing Date:
December 30, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LAOVILAND EXPERIENCE (FR)
International Classes:
G06F3/0484; H04N1/00
Foreign References:
US20110182511A12011-07-28
US20140026083A12014-01-23
Other References:
None
Download PDF:
Claims:
REVENDICATIONS

Procédé d' assistance à la manipulation d' au moins n variables de traitement graphique d'images par un utilisateur muni d'un organe de commande comportant plusieurs modes d'activation, sur la base d'un polygone de commande apparaissant sur une portion d'écran munie d'un repère, dont au moins chaque sommet représente une variable de traitement, chaque sommet étant déplaçable entre deux points limites définissant une direction d' action au moyen d'au moins un mode d'activation dudit organe de commande, un déplacement dans cette direction signifiant une modification de la valeur de la variable qui est proportionnelle à l'amplitude du déplacement, caractérisé en ce qu'il comporte les étapes suivantes :

détection à un instant t d'un premier mode d'activation de l' organe de commande en un emplacement du curseur sur ou au voisinage d'un sommet du polygone ;

repérage des coordonnées et stockage du point initial correspondant à l'emplacement détecté ;

en l'absence d'arrêt de l'activation de l'organe de commande selon ledit premier mode, détection d'un déplacement en position constamment activée de l'organe de commande ;

détection de l'arrêt de l'activation de l'organe de commande et stockage des coordonnées du point de destination ;

calcul de la distance parcourue ;

détermination de l'orientation du trajet parcouru, et projection sur la direction d'action ;

modification de la variable correspondant au sommet sur ou au voisinage duquel le curseur a été activé, en fonction de la longueur de la projection sur la direction d'action de la distance parcourue. Procédé d'assistance à la manipulation de n variables de traitement graphique d' images selon la revendication précédente, caractérisé en ce que les points limites appartiennent à deux polygones fixes respectivement extérieur et intérieur à n côtés de même centre que le polygone de commande, encadrant le polygone de commande et dont les sommets sont alignés avec ceux du polygone de commande. Procédé d'assistance à la manipulation de n variables de traitement graphique d' images selon la revendication précédente, caractérisé en ce que les sommets du polygone de commande sont placés, à l'initialisation du procédé, à mi- chemin entre ceux des deux polygones fixes.

Procédé d' assistance à la manipulation de n variables de traitement graphique d'images selon la revendication précédente, caractérisé en ce que chaque sommet du polygone fixe extérieur correspond à un coefficient de modulation de la variable commandée par le sommet du polygone de commande qui lui est aligné de valeur 1, alors que chaque sommet du polygone fixe intérieur correspond à un coefficient de modulation de valeur 0.

Procédé d'assistance à la manipulation de n variables de traitement graphique d'images selon l'une des revendications précédentes, caractérisé en ce que la détection d'un second mode d'activation de l'organe de commande correspondant à un emplacement du curseur dans un domaine actif situé au voisinage d'une direction d'action du polygone de commande conduit à une inversion du traitement de la variable correspondant à ce sommet, ledit domaine actif changeant de couleur de fond à chaque détection dudit second mode d'activation de l'organe de commande.

Procédé d'assistance à la manipulation de n variables de traitement graphique d'images selon la revendication précédente, caractérisé en ce que chaque domaine actif de chaque direction de commande est limité par les deux polygones fixes et des droites rejoignant les milieux des côtés desdits polygones encadrant une direction de commande.

7. Procédé d'assistance à la manipulation de n variables de traitement graphique d'images selon l'une des revend!ca- tions 2 à 6, caractérisé en ce que les polygones sont centrés dans un écran de commande comportant une ligne horizontale déplaçable par translation entre le bas et le haut de l'écran et réglant la valeur d'une variable n+1 indépendante des n variables, et dont la position dans l'écran est réglable par activation de l'organe de commande en dehors des polygones , par exemple selon le premier mode d'activation.

8. Procédé d' assistance à la manipulation de n variables de traitement graphique d'images selon l'une des revendica- tions 2 à 7, caractérisé en ce que la détection d'un troisième mode d'activation de l'organe de commande dans un écran de commande dans lequel les polygones sont centrés conduit à changer l'état de l'affichage de valeurs matérialisant la valeur donnée à la variable par déplacement dans la direction d' activation, entre un état d'affichage à proximité des sommets du polygone extérieur et un état de non affichage.

9. Procédé d'assistance à la manipulation de n variables de traitement graphique d'images selon l'une des revendica- tions précédentes, caractérisé en ce que l'organe de commande est une souris avec bouton central et commandes droite et gauche, le premier mode d' activation consistant en un clic gauche, le second mode d' activation consistant en un clic droit et le troisième mode d' activation con- sistant en un clic avec le bouton central de la souris.

10. Application du procédé d'assistance à la manipulation de n variables de traitement graphique d'images selon les revendications précédentes à la réalisation d'un traitement graphique comportant n (n ≥ 1) traitements de sail- lance visuelle sur un fichier image source sélectionné suivis d'un seuillage créant des taches de saillance, basés sur n critères de saillance prédéterminés commandés par les n sommets d'un polygone de commande, chacun desdits critères pouvant être inversés par commande dans un do- maine actif situés autour du sommet correspondant au critère à inverser, un seuil de seuillage étant commandé par déplacement d'une ligne horizontale dans un écran contenant le polygone de commande.

Description:
Procédé d'assistance à la manipulation d'au moins n variables de traitement graphique d' images

La présente invention a trait à un procédé d'assistance au réglage et à la commande de paramètres utilisés dans le traitement graphique automatisé d'images. Le but est d'aider à la manipulation de plusieurs variables de traitement pour qu'un utilisateur puisse modifier à son gré certaines caractéristiques des données sur lesquelles il travaille, à l'aide d'organes de commande usuels. Ces moyens de commande comportent en général un nombre limité de modes d'activation et les interventions directes initiées à partir de ces modes ne sont pas suffisantes pour offrir à l'utilisateur une palette de moyens de contrôle et de commande su fisamment ambitieuse pour une fluidité d'utilisation optimale.

Le contexte d'utilisation peut être celui des procédés de traitements graphiques automatisés permettant par exemple de guider, tout en étant un support d'inspiration, des créateurs de représentations visuelles obtenues par ordinateur. Dans les cas envisagés, de la matière graphique est extraite d'images existantes, sous des formes diverses et modifiables via des traitements automatisés variés, cette matière étant retravaillable par le système informatique sur la base de paramètres et commandes fournis et ajustés en temps réel par l'utilisateur. Ces possibilités d'intervention de l'utilisateur sur des variables du système sont contrôlées notamment via une interface graphique qui fait l'objet de l' invention.

La matière graphique employée est tirée de fichiers d' images sources stockés dans la mémoire du système de traitement électronique. Des traitements techniques appliqués à l'image source per- mettent ensuite de la transformer par étapes, l'utilisateur gardant la possibilité de faire varier la nature et l'amplitude des traitements notamment grâce à ladite interface graphique de l'invention.

Pour que les interventions de l'utilisateur puissent avoir une souplesse et un potentiel lui permettant de déployer sa créati- vite, qu'il puisse agir à sa guise sur l'image et notamment disposer de leviers de transformation de celle-ci qui soient suffisamment ambitieux, il faut qu'il puisse travailler sur plusieurs paramètres de manière quasi simultanée, idéalement le plus grand nombre possible.

C'est l'objectif du procédé de la présente invention, qui permet l'assistance à la manipulation d'au moins n variables de traitement graphique d'images par un utilisateur muni d'un organe de commande comportant plusieurs modes d' activa ion. Le procédé est basé sur l'existence d'un polygone de commande apparaissant sur une portion d'écran munie d'un repère. Au moins chaque sommet de ce polygone représente une variable de traitement, chacun desdits sommets étant déplaçable entre deux points limites définissant une direction d'action au moyen d'au moins un mode d'acti- vation de l' organe de commande. Un déplacement dans cette direction signifie, selon le procédé, une modi ication de la valeur de la variable, qui est proportionnelle à l' amplitude du déplacement.

Selon l'invention, le procédé est tel qu'il comporte les étapes suivantes :

- détection à un instant t d'un premier mode d' activation de l'organe de commande en un emplacement du curseur sur ou au voisinage d'un sommet du polygone ;

repérage des coordonnées et stockage du point initial correspondant à l'emplacement détecté ;

- en l'absence d'arrêt de l' activation de l'organe de commande selon ledit premier mode, détection d'un déplacement en position constamment activée de l'organe de commande ;

détection de l'arrêt de l' activation de l'organe de commande et stockage des coordonnées du point de destination ;

calcul de la distance parcourue ;

détermination de l'orientation du trajet parcouru, et projection sur la direction d' action ; modification de la variable correspondant au sommet sur ou au voisinage duquel le curseur a été activé, en fonction de la longueur de la projection sur la direction d'action de la distance parcourue.

Selon un exemple préférentiel qui sera utilisé dans la suite du texte pour fixer les idées mais n'est en aucune manière limitatif de l'invention, le traitement graphique mentionné comporte des traitements de saillance, effectués sur la base de critères qui permettent de caractériser l'identité visuelle de l'image. Il s'agit en fait de paramètres optiques tels que par exemple l'intensité, les orientations, les couleurs, la saturation, etc. de l'image. Ces procédés de saillance visent à extraire les points saillants d'une image selon ces différents critères, en identifiant et en isolant en substance les zones qui attireraient na- turellement l'attention d'un œil humain.

Selon une configuration possible, au sens de l'invention, les points limites peuvent appartenir à deux polygones fixes respectivement extérieur et intérieur à n côtés de même centre que le polygone de commande, encadrant le polygone de commande et dont les sommets sont alignés avec ceux du polygone de commande.

L'interface graphique est donc caractérisée par ces polygones concentriques que l'utilisateur est très naturellement amené à manipuler, et qui lui donnent une vision globale immédiate des réglages du système. Selon une con iguration initiale possible, cependant nullement contraignante, les sommets du polygone de commande sont placés, à l'initialisation du procédé, à mi-chem n entre ceux des deux polygones fixes. Une valeur médiane des paramètres de traitement est donc fixée lorsqu'un nouveau travail graphique est entrepris, conférant à la matière graphique avant transformation une apparence « neutre » facilement modifiable dans les deux sens.

Par convention, selon l'invention, chaque sommet du polygone fixe extérieur correspond à un coefficient de modulation de la variable commandée par le sommet du polygone de commande qui lui est aligné de valeur 1, alors que chaque sommet du polygone fixe intérieur correspond à un coef icient de modulation de valeur 0. Le glissement du sommet du polygone de commande entre ces deux bornes permet d'affecter de 0% à 100% de la valeur du critère, par exemple de saillance, commandé.

L'interface graphique permet d'autres réglages. Ainsi, la dé- tection d'un second mode d'acti ation de l'organe de commande correspondant à un emplacement du curseur dans un domaine actif situé au voisinage au voisinage d'une direction d'action du polygone de commande conduit à une inversion du traitement de la variable correspondant à ce sommet, ledit domaine actif changeant au surplus de couleur de fond à chaque détection dudit second mode d'activation de l'organe de commande.

Il est donc possible de multiplier par deux le nombre de réglages possibles de la variable commandée, par simple inversion du traitement, l'interface rendant cette opération à la fois ma- ni este et simple à effectuer dans le cadre du procédé de l'invention.

En pratique, de préférence, chaque domaine actif est limité par les deux polygones fixes et des droites rejoignant les milieux des côtés desdits polygones encadrant une direction de commande. II s'agit donc d'un domaine de commande qui bénéficie d'une surface qui n'est pas négligeable, facilitant d'autant sa manipulation.

Selon une autre spécificité de l'invention, les polygones sont centrés dans un écran de commande comportant une ligne horizontale déplaçable par translation entre le bas et le haut de l'écran et réglant la valeur d'une variable n+1 indépendante des n variables précitées, et dont la position dans l'écran est réglable par activation de l'organe de commande en dehors des polygones, par exemple selon le premier mode d'activation.

Le contrôle d'une nouvelle variable, dont la quantification par l'utilisateur se fait également immédiatement, en fait en un seul coup d'œil, est un autre avantage du procédé qui est conçu pour offrir à ses utilisateurs un ma imum de convivialité allié à un mode d'utilisation très intuitif, performant et immédiat.

Selon une autre possibilité inhérente au procédé, la détection d'un troisième mode d'activation de l'organe de commande dans ledit écran de commande dans lequel les polygones sont centrés conduit à changer l'état de l'affichage de valeurs matérialisant la valeur donnée à la variable par déplacement dans la direction d'activation, entre un état d'affichage à proximité des sommets du polygone extérieur et un état de non affichage.

Cette option offre un degré d' information supplémentaire aux utilisateurs qui peuvent bénéficier d'un affichage précis de la valeur du curseur de réglage du paramètre contrôlé.

Il a été fait état de l'organe de commande qui est employé par l'utilisateur pour effectuer des réglages, certes largement facilités par l'existence de l'interface graphique, qui les rend aisés et donne au surplus un retour d'information en maintenant affichés les modifications de paramètres effectuées.

De préférence, cet organe de commande n'est pas spécifique à l'invention, mais tire parti des capacités techniques d'un périphérique existant et généralisé : selon l'invention, l'organe de commande peut être une souris avec bouton central et commandes droite et gauche. Dans ce cas, le premier mode d'activation peut consister en un clic gauche, le second mode d'activation en un clic droit et le troisième mode d'activation peut être un clic avec le bouton central de la souris, parfois identifié à une molette. Il s'agit à nouveau d'une configuration non limitative de l'invention, qui peut le cas échéant être dépourvue d'un tel organe externe de type souris, du fait des possibilités offertes par exemple par les technologies à écran tactile.

Comme cela a été évoqué, l'invention concerne également une application d'un procédé d'assistance à la manipulation de n variables de traitement graphique d' images tel que décrit ci-dessus à la réalisation d'un traitement graphique comportant n (n 1) traitements de saillance visuelle sur un fichier image source sélectionné suivis notamment d'un seuillage créant des taches de saillance, basés sur n critères de saillance prédéterminés commandés par les n sommets d'un polygone de commande. Chacun desdits critères peut par ailleurs être inversés par commande dans un domaine actif situés autour du sommet correspondant au critère à inverser. Un seuil de seuillage peut enfin être commandé par déplacement d'une ligne horizontale dans un écran contenant le polygone de commande.

L'accès à la commande de tous ces paramètres est rendu extrêmement simple par le procédé de l'invention, qui combine facilité d'usage et convivialité, traitant en temps réel les requêtes de réglages émanant de l'utilisateur en fournissant de plus un acquittement visuel. L'interface graphique qui est au cœur de l'invention permet à chacun d'être à tout moment informé de l'état du système, en ce qui concerne les valeurs sélectionnées pour les différents paramètres d'a ustement.

L'invention va à présent être décrite plus en détail, en référence aux figures annexées, qui représentent des exemples non limitatifs de mise en oeuvre de l'invention, et pour lesquelles :

la figure 1 montre un exemple d'interface graphique basée sur des polygones concentriques et à partir de laquelle l'invention est mise en œuvre ; et

la figure 2 représente très schématiquement un exemple de traitements successifs appliqués à une image au moyen du procédé de l' inventio .

En référence à la figure 1, les deux polygones fixes extérieur

(A) et intérieur (C) encadrent un polygone de commande (B) dont les quatre sommets (bl, b2, b3, b4) sont déplaçables par glisser- déplacer en actionnant par exemple le clic gauche d'une souris et en le maintenant appuyé tant que le déplacement n'est pas fini. Le polygone intérieur (C) est une zone « morte », qui n'est sensible à aucune action par l' organe de commande. Le sommet (bl , b2, b3, b4) sur lequel s'exerce l'action est bougé jusqu'à une position finale qui re lète un changement d' intensité de la variable de traitement à laquelle il correspond. Dans l'exemple non limitatif des traitements de saillance, exemple dans lequel une mage source constituant une matière graphique fait l'objet de plusieurs traitements de saillance visuelle parallèles sur la base de critères de saillance distincts, chacun d'eux correspond à l'un des sommets (bl , b2 , b3 , b4) . Les critères de saillance retenus peuvent par exemple être l'intensité, les orientations, les couleurs, et la saturation de l'image, qui « occupent » chacun un des sommets (bl, b2, b3, b4) . La position de chacun des sommets (bl, b2, b3, b4) sur les segments matérialisant les directions d'action (dl, d2 , d3, d4) , limités respectivement par les sommets (al, a2, a3, a4) du polygone fixe extérieur (A) et (cl, c2, c3, c4) du polygone fixe intérieur (C) , reflète la pondération donnée au critère correspondant.

La position prise correspond en fait à un facteur de pondération compris entre 0 et . La valeur 1 implique que les sommets (bl, b2, b3, b4) du polygone de commande (B) sont identifiés aux sommets (al, a2, a3, a4) du polygone fixe extérieur (Ά) . La valeur 0 implique que les sommets (bl, b2, b3, b4) du polygone de commande (B) sont directement placés sur les sommets (cl, c2, c3 , c4) du polygone fixe intérieur (C) .

Dans l'exemple apparaissant en figure 1, le critère variable dans la direction d'action (d4) est pondéré par un facteur de l'ordre de 0,8 (voir position du sommet (b4) en figure 1) , alors que celui qui varie dans la direction (dl) l'est à une hauteur de l'ordre de 0,25, comme le montre la position du sommet (bl) . Les deux critères restants n'ont pas été modulés, et leurs sommets correspondants (d2, d3) restent donc dans la position initiale de « repos » à 0,5, si une telle position d'initialisation est utilisée.

Il est à noter que tous ces critères de sa llance peuvent être inversés par action dans un domaine actif (D ac ) tel que celui qui apparaît hachuré dans la figure 1. Pour des raisons de clarté, seule un des domaines actifs est représenté, mais ils existent pour les quatre directions d'action. Un changement de couleur du fond de ces domaines sanctionne tout changement d'état, obtenu par exemple par un clic droit dans un domaine.

Dans l'exemple d'un traitement graphique pour lequel le procédé de l'invention pourrait s'appliquer, une opération de seuillage peut être réalisée après les traitements de saillance, ce qui implique la définition d'un seuil. Ce seuil est contrôlable, selon le procédé de l'invention, par action sur une ligne horizontale H. Le résultat du seuillage est une binarisation de l'image, donnant lieu à des zones à deux teintes seulement, noires et blanches, comme cela apparaît par exemple en figure 2. Les taches blanches correspondent en pratique aux zones qui sont au-dessus du premier seuil , et sont remplies de blanc après le traitement de « filtrage » que représente ledit seuillage. Ce seuil est va- riable, la variation de ce paramètre étant réalisée par manipulation de la souris, par exemple par glisser-déplacer après clic gauche de la souris sur la ligne H, et en dehors des polygones (A, B, C) . Sur la figure 1, le seuil est d'environ 20%. Les taches noires correspondent aux parties qui sont en dessous dudit seuil, et constituent en pratique le fond de l'image seuillée.

Sur la figure 2 , le seuil choisi est de 40% , valeur qui apparaît sur la figure à l'instar des valeurs de pondération des différents critères contrôlables via le polygone de commande (B) . Cette figure fait en outre apparaître, en sus de l'écran de manipulation et de contrôle selon le procédé de l'invention, l'image qui en résulte, placée sous ledit écran, pour quatre réglages différents. Entre ces couples écran/image, au-dessus des flèches horizontales, on a représenté des écrans intermédiaires en cours de réglage. Les écrans de la figure 2 font également apparaître les quatre domaines actifs (D ac ) encadrant les directions d'action, et matérialisés par des lignes au moins partiellement blanches découpant quatre zones de même surface dans les polygones (parce qu'il s'agit en l'occurrence de carrés).

En allant de la gauche vers la droite, la première image reflète le réglage apparaissant dans l'écran qui la surmonte : les 4 critères sont pondérés à hauteur de 50%, et le seuil est fixé à 40% . Ce seuil n' est d' ailleurs pas modi ié dans les écrans de la figure 2. En passant à l'image suivante en direction de la droite de la figure 2, l'écran en cours de réglage montre que c'est le coefficient du quadrant supérieur, dans la direction d'action (d4) de la figure 1, qui est modifié. En d'autres termes, le sommet (b4) (voir figure 1) est déplacé et positionné sur le sommet (a4) du polygone extérieur (A) le coefficient est à 100%, ce qui signifie qu'il n'existe en pratique plus de pondération. Les taches sur la figure en dessous d inuent légèrement par rapport à la première image considérée. La seconde opération est symétrique de la première, mais dans le quadrant du bas, sur la direction d'action (d2) . Le sommet (b2) du polygone de commande (B) est placé sur le sommet (a2) , pour une « pondération » du cr tère correspondant à 100% . Les taches de la figure en dessous sont à nouveau modifiées, dans le sens d'une faible augmentation des sur aces blanches .

Au cours de la transition suivante, le critère correspondant à la direction d'action (dl) est mis à 0, ce qui revient à dire que le sommet (bl) du polygone de commande (B) est placé sur le sommet (cl) du polygone fixe intérieur (C) . Le résultat graphique apparaît dans la figure placée en dessous , qui voit une diminution

Γ

sensible des taches, pour un rendu visuel encore différent.

Dans l'exemple utilisé en figure 2, la direction d'action (dl) correspond par exemple à un coefficient d'orientations, la direc- tion (d2) reflète un coefficient de saturation, la direction (d3) témoigne de la variation d'un coefficient de couleurs et la dernière direction (d4) correspond à un coefficient d'intensité.

Il est à noter que la forme particulière de l'interface graphique utilisée dans le cadre du procédé de l'invention permet de rendre les données affichées récupérables par détection graphique, à la manière d'un QR code, en pratique par simple détection de points clés.

Ainsi, la valeur donnée à chaque coefficient du polygone de commande (B) est reflétée par les positions des sommets (bl, b2, b3, b4) . Ces valeurs sont calculables graphiquement, puisque le coefficient de pondération est en tout état de cause égal au rapport de segments b n c n /a n c n/ que l'on peut facilement calculer par détection optique.

De même, la valeur du seuil est facilement calculable par des moyens optiques de détection, puisqu'elle revient à calculer une valeur égale au rapport Y 3 Y 2 /Y 3 Yi . Il suffit donc de disposer des trois points Y 3 , Y 2 et Yi apparaissant en figure 1, et qui sont très facilement détectable par des moyens optiques traditionnels . En d' autres termes , un procédé de détection optique peut permettre d'extraire de façon automatisée les paramètres de réglage utilisés, qui apparaissent de fait dans l'interface graphique. L'invention ne se limite bien entendu pas aux exemples décrits et expliqués en référence aux figures, mais elle englobe les variantes et versions qui entrent dans la portée des revendications .