The Pulse
MedChemBench d’OpenAI évalue le raisonnement de l’IA en chimie médicinale
OpenAI a présenté un benchmark composé de 99 problèmes de chimie médicinale tirés de travaux de recherche publiés. Les tests ont montré de meilleurs résultats pour la reconstitution de molécules que pour la sélection de composés ou la prédiction de leurs propriétés.

Le nouveau benchmark MedChemBench d’OpenAI évalue les modèles d’IA sur 99 problèmes de chimie médicinale qui leur demandent d’interpréter des structures moléculaires et des données expérimentales. L’entreprise a indiqué que GPT-6.2 Astra avait obtenu 84,5 % des points possibles avec le niveau de raisonnement xhigh, contre 83,3 % pour GPT-6 Astra.
Ce qu’évalue le benchmark
Présenté le 20 novembre, MedChemBench s’appuie sur 117 articles et brevets et comprend 761 structures moléculaires distinctes. Pour la plupart des problèmes, le modèle reçoit les informations disponibles à un moment donné d’un programme de recherche, notamment la cible biologique, les objectifs des chercheurs, les composés déjà étudiés et certains résultats expérimentaux.
Le benchmark évalue la reconstitution moléculaire, les explications scientifiques, le classement et la sélection des composés, ainsi que la prédiction de propriétés. L’évaluation des structures vérifie les liaisons entre les atomes et la stéréochimie spécifiée ; les explications sont évaluées au regard des données fournies. Les prédictions de propriétés sont comparées aux valeurs numériques et aux catégories figurant dans les sources, y compris les propriétés mesurées et calculées.
Les tâches portent sur les compromis auxquels sont confrontés les chimistes médicinaux lors du développement de composés. Une molécule qui agit fortement sur une protéine liée à une maladie, par exemple, pourrait être mal absorbée ou se dégrader trop rapidement dans l’organisme.
Résultats selon les modèles
OpenAI a évalué onze modèles GPT avec différents niveaux d’effort de raisonnement. Au niveau xhigh commun, GPT-6.1 Sol a obtenu 82,0 % des points possibles sur l’ensemble du benchmark, GPT-6.1 Terra 75,1 % et GPT-5.6 Sol 58,2 %. Au niveau d’effort maximal, GPT-6 Astra a atteint 83,8 %.
Selon OpenAI, les points forts de GPT-6 Astra étaient la reconstitution des structures et l’explication des données scientifiques. Au niveau xhigh, le modèle a obtenu 95,4 % des points possibles pour les structures, mais seulement environ la moitié des points possibles pour la sélection de composés et la prédiction de propriétés numériques. Les catégories reposent sur des tâches et des règles de notation différentes.
Deux problèmes en détail
Un problème porte sur des inhibiteurs de PRMT5, une protéine étudiée dans le cadre de la recherche de médicaments contre le cancer. À partir de structures et de résultats d’expériences antérieures, le modèle doit prédire le comportement de trois composés apparentés : la concentration à laquelle ils bloquent PRMT5 dans les cellules, leur capacité à traverser une barrière cellulaire et la vitesse à laquelle les enzymes hépatiques les dégradent dans un essai de laboratoire.
Dans les résultats qui n’ont pas été communiqués au modèle, le composé 23 bloquait PRMT5 dans les cellules à une concentration plus faible. Le composé 24 traversait plus facilement la barrière cellulaire et se dégradait plus lentement dans l’essai avec les enzymes hépatiques. Les prédictions obtiennent une partie des points selon leur proximité avec les valeurs mesurées, tandis que les mesures déjà incluses dans le prompt doivent également être correctement reproduites.
Un autre problème demande aux modèles d’assembler une molécule à partir d’une structure centrale et de deux groupes qui y sont attachés, tout en préservant un cycle de 18 atomes. OpenAI a indiqué que GPT-6 Astra l’avait correctement reconstituée dans ses dix réponses au niveau xhigh. GPT-5.6 Sol et GPT-5.6 Luna ont échoué dans leurs dix réponses ; les réponses illustrées montraient un cycle plus petit pour le premier et des fragments disjoints pour le second.
Limites des résultats
L’entreprise a précisé que ces résultats ne permettent pas d’établir si les modèles peuvent découvrir de nouveaux médicaments ou améliorer les décisions prises en laboratoire. Il n’est pas possible d’exclure une exposition préalable aux sources publiées, et chaque réponse correspondait à un seul essai, sans outils, retour d’information ni nouvelles expériences. Le benchmark évalue le raisonnement à partir de données historiques plutôt que la découverte de médicaments en conditions réelles.
Sources
- Source originale OpenAI openai.com
Entreprises citées
Articles liés
- OpenAI fait état de taux d’extraction du raisonnement plus faibles lors des tests de GPT-6.2 Astra
- Un agent de recherche d’OpenAI a écrit des scripts pour ajouter un destinataire en copie d’un courriel sans autorisation
- OpenAI affirme que les examens de sécurité ralentissent la sortie des modèles de pointe
- Les mathématiciens débattent de la qualité des preuves après la « mathocalypse » de l’IA
- Ai2 publie trois checkpoints de recherche climatique ACE2.5-ERA5