Je viens de voir une nouvelle intéressante concernant le développement de l'IA dans la représentation de personnages, lancé par Anuttacon, une société d'IA fondée par Tsai Haoyu, le créateur de miHoYo.

Ils viennent de sortir LPM 1.0, un modèle de représentation vidéo de personnages qui est assez surprenant. Ce système permet aux personnages de parler, chanter, écouter et réagir simultanément en temps réel. De plus, les mouvements de la bouche, les expressions faciales, ainsi que le rythme du corps semblent très réalistes, rien à voir avec quelque chose de artificiel.

Du point de vue technique, ils utilisent un modèle de base de 17 milliards de paramètres, ajusté pour une version en streaming à faible latence. Ce qui est intéressant, c’est qu’il supporte une grande variété de styles de personnages, allant du style réaliste, animation 2D, jusqu’aux jeux 3D, et même des créatures non humaines, sans besoin d’ajustements supplémentaires.

Ce que j’ai remarqué, c’est qu’Anuttacon a lancé également la norme d’évaluation LPM-Bench, qui donne des résultats supérieurs à plusieurs autres modèles sur le marché. La différence clé est que LPM 1.0 peut générer du contenu indéfiniment, contrairement à d’autres options limitées à seulement 30 secondes.

Le cas d’usage qui semble le plus intéressant pour eux est celui des agents conversationnels NPC dans les jeux, ainsi que la diffusion virtuelle en direct. Ce sont des cas d’utilisation très prometteurs, notamment pour miHoYo et d’autres sociétés de jeux.

Cependant, il faut noter qu’Anuttacon précise que cette sortie est uniquement pour des échanges académiques. Il n’y a pas encore de plans pour open source ou pour fournir une API au public pour le moment. La majorité de la communauté pense que l’objectif principal est d’attirer des talents en IA compétents.

En regardant en arrière, LPM 1.0 représente une étape suivante dans la trajectoire de l’IA d’Anuttacon, notamment dans le domaine des moteurs de jeu et des NPC intelligents. C’est aussi un autre résultat du développement de l’IA chez miHoYo, depuis l’outil de chat AnuNeko jusqu’aux capacités du modèle de base. Il semble que Tsai Haoyu et son équipe construisent quelque chose de significatif dans le domaine de l’IA pour les personnages.