NYY développe une technologie de streaming vidéo 3D avec l’aide de son département de danse. Un projet extrêmement prometteur qui pourrait révolutionner le streaming.
NYU lance un projet visant à développer une technologie de streaming vidéo 3D immersive pour l’enseignement de la danse et, possiblement, d’autres domaines. Porté par une subvention de 1,2 million de dollars sur quatre ans de la National Science Foundation, il s’agira de tenter de rendre la technologie Point-Cloud Video (PCV) viable pour le streaming.
NYY développe une technologie de streaming vidéo 3D avec l’aide de son département de danse
Un nuage de points est un ensemble de points dans un espace 3D représentant la surface d’un objet ou d’un environnement. NYU explique que le Point-Cloud Video, qui assemble des images de nuages de points en scène mouvante, est en développement deux une décennie. Cependant, cette technologie est encore trop gourmande en données pour des applications pratiques, nécessitant une bande-passante au-delà des capacités de nos appareils actuels.
Les chercheurs veulent surmonter ces obstacles en “réduisant la consommation de bande-passante et la latence et en augmentation l’efficience pour que les PCV puissent être diffusés en streaming bien plus facilement”, selon un post de blog de NYU Engineering. Le responsable du projet, Yong Liu, professeur d’ingénierie électrique et d’informatique, est convaincu que les innovations modernes peuvent rendre cela possible. “Avec les récentes avancées dans certaines technologies clef, nous sommes désormais sur le point d’achever le puzzle pour téléporter des hologrammes d’humains, de créatures et d’objets du monde réel via l’internet”, écrit-il.
Le créateur de ChatGPT, OpenAI, a lancé l’année dernière un modèle permettant de créer des nuages de points 3D depuis des prompts textes. On ne sait cependant pas quels outils d’IA générative sont utilisés dans le cadre de ce projet.
Un projet extrêmement prometteur qui pourrait révolutionner le streaming
L’équipe testera la technologie avec la Tisch School of the Arts de NYU et le Mark Morris Dance Group’s Dance Center. Les danseurs de ces deux établissements danseront sur une scène de captation volumétrique. L’équipe diffusera alors leurs mouvements en direct et à la demande, offrant du contenu éducatif aux futurs danseurs qui veulent étudier directement depuis des danseurs aguerris, tout en permettant aux ingénieurs de tester et améliorer leur technologie PCV.
Les chercheurs espèrent que ces travaux ouvriront la porte à des contenus de streaming pour de la réalité virtuelle et de la réalité mixte plus avancées. “Le succès de ces travaux aidera au déploiement de systèmes de streaming PCV de grande qualité et robustes qui faciliteront les expériences de réalités augmentée, virtuelle et mixte et viendront créer de nouvelles opportunités dans de nombreux domaines, dont l’éducation, la santé et le loisir”.
“Le Point-Cloud Video a un énorme potentiel pour transformer de nombreuses industries et je suis ravi que l’équipe de recherche de NYU Tandon priorise l’enseignement de la danse pour profiter au plus tôt de ces avancées”, déclarait Jelena Kovačević, doyenne de NYU Tandon.
Source link
