Au mois de mars, OpenAI avait annoncé que son chatbot ChatGPT avait réussi l’examen UBE du barreau américain, le situant dans le top 10 % des étudiants. Ce n’est pas le seul à réussir un examen, puisque Google travaille sur une intelligence artificielle dans le domaine médical. Dans un article qui vient de paraître dans la revue Nature, Google indique que son Med-PaLM a obtenu 67,6 % à l’USMLE (US Medical License Exam), un examen qui nécessite d’obtenir au moins 60 %.
Toutefois, même si cet article vient de paraître, ce score a été obtenu en décembre dernier. Depuis, Google travaille sur la seconde itération de son intelligence artificielle, Med-PaLM 2. Celle-ci a obtenu cette fois 86,5 % au test, avec une nette amélioration des réponses rédigées, selon les médecins qui l’ont évaluée. Toutefois, ils ont noté un plus grand nombre d’informations erronées ou hors sujet par rapport aux réponses des humains, montrant une tendance à l’hallucination comme les autres chatbots.
L’IA de Google n’est pas ouverte au grand public. Toutefois, elle serait déjà en test, notamment dans l’hôpital de recherche Mayo Clinic, aux États-Unis, et sera disponible pour un petit nombre de clients Google Cloud dans les mois à venir.
L’IA réussit l’examen de médecine aux États-Unis (Med-PaLM)
PAR EDWARD BACK
JUILLET 2023