Kling vient d’introduire la synchronisation labiale, une véritable révolution pour les vidéos d’IA.
Tl;dr
- Kling, générateur d’IA de vidéos, a ajouté une fonctionnalité de synchronisation labiale.
- Il a également lancé de nouvelles fonctionnalités communautaires et un pinceau de mouvement.
- Il confirme le lancement d’une API pour intégrer l’IA vidéo dans d’autres produits.
Une nouvelle ère pour la vidéo générative
Le monde de l’intelligence artificielle a encore fait un grand pas en avant grâce à Kling, un des meilleurs générateurs de vidéos assistées par IA. Sa dernière mise à jour inclut une fonctionnalité synchronisation labiale d’une précision étonnante, même lorsque le visage filmé n’est pas directement face à la caméra.
Cette avancée est une véritable révolution pour le monde de la vidéo IA. En effet, une synchronisation labiale réaliste ouvre la porte à la création d’« acteurs artificiels », permettant à un réalisateur de créer une production entière avec dialogues sans avoir besoin d’acteurs humains. Kling se rapproche de cette réalité, bien qu’il soit encore loin de pouvoir rivaliser avec un acteur tel que Danny DeVito.
Le fonctionnement de la synchronisation labiale
Le processus de synchronisation labiale de Kling débute par la génération d’une vidéo. Ensuite, en cliquant sur « match mouth », l’IA suit les mouvements de la bouche tout au long de la vidéo. Bien que ce processus prenne une dizaine de minutes, c’est ce qui fait la force de Kling. Une fois les mouvements de la bouche isolés, il suffit d’ajouter un fichier audio. Kling se charge alors de faire correspondre parfaitement le son à la vidéo et d’animer la bouche pour donner l’illusion que le personnage parle – ou chante – les mots de l’audio.
Les autres nouveautés de Kling
En plus de la synchronisation labiale, Kling a introduit de nouvelles fonctionnalités communautaires qui permettent aux utilisateurs de gagner des crédits en partageant leurs créations. Kling a également lancé le « Motion Brush », un outil qui permet de sélectionner les éléments d’une image à animer. Enfin, Kling a confirmé qu’il allait lancer une API, permettant ainsi aux développeurs d’intégrer la vidéo IA dans leurs produits.
Grâce à ces innovations, Kling s’est imposé comme un leader sur le marché de l’IA générative pour la vidéo. Il propose une gamme de fonctionnalités de production utiles, alliées à un degré de mouvement réaliste et une compréhension de la physique que d’autres modèles peinent à égaler.
Source link
