En Allemagne, le Max Planck Institute lance DragGAN, un nouvel outil IA de retouche photo
Une équipe de chercheurs menée par l’institut Max Planck pour l’Informatique à Sarrebruck et en collaboration avec Google, l’université de Pennsylvanie et le MIT, a publié un papier présentant DragGAN, un outil d’IA permettant de modifier une image de manière très réaliste.
Cette nouvelle méthode pourrait transformer le domaine du traitement numérique des images et de la retouche photo. Elle permet en quelques clics de souris de modifier la pose, la forme ou la disposition d’un ou plusieurs sujets sur une image. Les applications sont infinies : essayer des vêtements sur un avatar numérique, changer la direction du regard de son animal domestique sur sa photo préférée, modifier la perspective d’un paysage…
L’outil constitue une interface claire et intuitive, qui permet aux non-initiés de réaliser des retouches d’images complexes. Pour cela, il leur suffit de marquer les endroits de la photo qu’ils souhaitent modifier, et d’indiquer ensuite les points cibles des positions à atteindre pour transformer l’image (voir vidéo ci-dessus).
La technologie derrière cet outil repose sur l’intelligence artificielle, et plus précisément sur des « Generative Adversarial Networks », ou GANs. Les GAN sont des modèles génératifs adversariaux, dans lesquelles deux réseaux s’affrontent pour améliorer leurs performances respectives. Un générateur crée des images fictives tandis qu’un discriminateur détermine si les images sont réelles ou si elles ont été produites par le générateur. Le système est entraîné jusqu’à ce que le discriminateur ne puisse plus distinguer les images du générateur des images réelles.
Pour déplacer un point d’intérêt de l’image, par exemple le museau d’un chien, vers son point cible, DragGAN effectue plusieurs transformations en série. A chaque étape, le modèle génère une nouvelle image en cherchant à atteindre le point cible, puis réidentifie l’emplacement du point d’intérêt (le museau) sur la nouvelle image. Ces transformations sont effectuées jusqu’à ce que le point d’intérêt soit suffisamment proche du point cible. Une propriété des GANs s’avère avantageuse : DragGAN peut aussi générer des choses qui n’apparaissaient pas sur l’image, comme les dents du chien en ouvrant le museau.
Cette nouvelle méthode est le fruit d’un groupe de recherche sous la direction de l’Institut Max Planck pour l’informatique et de son centre de recherche « Saarbrücken Research Center for Visual Computing, Interaction and Artificial Intelligence (VIA) », ouvert conjointement avec Google, en collaboration avec le Massachusetts Institute of Technology (MIT) et l’Université de Pennsylvanie.
Sources : https://vcai.mpi-inf.mpg.de/projects/DragGAN/
Image : Copyright Institut Max Planck pour l’Informatique