On rapporte que le modèle Whisper d’OpenAI « hallucine » dans des situations à haut risque.
Tl;dr
- L’outil de transcription Whisper d’OpenAI crée des textes erronés potentiellement dangereux.
- Whisper est largement utilisé, y compris dans le secteur de la santé, malgré les erreurs signalées.
- OpenAI recommande de ne pas utiliser Whisper dans des contextes décisionnels cruciaux.
Whisper d’OpenAI : un outil de transcription inventif mais trompeur
Des chercheurs ont découvert que Whisper, l’outil de transcription basé sur l’audio d’OpenAI, a la fâcheuse tendance d’inventer des choses qui n’ont jamais été dites, avec des conséquences potentiellement dangereuses. C’est ce que révèle un nouveau rapport.
Des « hallucinations » préoccupantes
Selon APNews, le modèle d’IA Whisper invente du texte (phénomène communément appelé « hallucination »), créant ainsi des sorties absurdes qui n’ont aucun lien avec le matériel d’entraînement utilisé. Les erreurs de Whisper peuvent inclure des commentaires raciaux, des incitations à la violence et des traitements médicaux fantaisistes.
Une adoption précoce malgré les risques
Whisper est intégré à certaines versions de ChatGPT et est une fonctionnalité intégrée dans les plateformes de cloud computing de Microsoft et Oracle. Malgré les risques, les fournisseurs de soins de santé commencent à adopter cet outil pour transcrire les consultations des patients avec les médecins. Le fabricant de Whisper prétend que l’outil a une « robustesse et une précision quasi humaines » et a été adopté par plus de 30 000 cliniciens aux États-Unis. Cependant, les chercheurs mettent en garde contre cette adoption, suite à des problèmes identifiés lors de différentes études.
Des conséquences potentiellement graves
Les erreurs de Whisper pourraient avoir des « conséquences vraiment graves », en particulier dans le cadre des soins de santé, comme l’a souligné la professeure de Princeton, Alondra Nelson. « Personne ne veut d’un mauvais diagnostic », a-t-elle déclaré. Il y a donc des appels pour que OpenAI s’attaque au problème. Selon William Saunders, ancien employé, « c’est problématique si vous mettez cela en circulation et que les gens sont trop confiants dans ce qu’il peut faire et l’intègrent dans tous ces autres systèmes ».
En dépit de ces problèmes, les entreprises continuent à développer des outils et des programmes d’IA, et les « hallucinations » continuent d’être un problème prévalent. En ce qui concerne la réponse d’OpenAI aux hallucinations, l’entreprise recommande de ne pas utiliser Whisper dans des « contextes de prise de décision, où des défauts de précision peuvent entraîner des défauts prononcés dans les résultats ».
Source link
