OpenAI presentó el viernes (20/11) MedChemBench, un benchmark que evalúa modelos de IA en tareas de razonamiento tomadas de la investigación en química medicinal, la disciplina que diseña y perfecciona moléculas que pueden convertirse en medicamentos. La prueba verifica si el modelo puede conectar la estructura de una molécula con la evidencia experimental para explicar resultados, comparar compuestos y predecir sus propiedades.
El benchmark reúne 99 problemas extraídos de 117 artículos y patentes publicados, con 761 estructuras moleculares distintas. OpenAI evaluó 11 modelos GPT en distintos niveles de esfuerzo de razonamiento. En el nivel xhigh, GPT-6.2 Astra obtuvo el 84,5% del crédito disponible, seguido por GPT-6 Astra, con el 83,3%, GPT-6.1 Sol, con el 82,0%, GPT-6.1 Terra, con el 75,1%, y GPT-5.6 Sol, con el 58,2%.
Dónde acierta el modelo, y dónde tropieza
El punto fuerte de Astra es reconstruir moléculas: en el nivel xhigh, obtuvo el 95,4% del crédito disponible en reconstrucción de estructuras. En uno de los problemas, el modelo debía ensamblar una molécula preservando un anillo de 18 átomos: GPT-6 Astra acertó en los diez intentos, mientras que GPT-5.6 Sol produjo un anillo menor, de 15 átomos, y GPT-5.6 Luna dividió la molécula en dos fragmentos desconectados. Errores así cambian la identidad del compuesto analizado.
A la hora de elegir compuestos y predecir propiedades numéricas, el rendimiento cae a cerca de la mitad del crédito disponible. Uno de los problemas usa inhibidores de PRMT5, una proteína estudiada en el descubrimiento de fármacos contra el cáncer: el modelo debe predecir, al mismo tiempo, la potencia contra la proteína, la capacidad de atravesar la barrera celular y la velocidad de degradación por enzimas del hígado, y los experimentos mostraron que mejorar una propiedad puede empeorar otra.
La propia OpenAI hace la salvedad: los resultados no prueban que los modelos puedan descubrir nuevos medicamentos ni mejorar las decisiones de laboratorio. No se puede descartar que los modelos ya hubieran visto las fuentes publicadas durante el entrenamiento, y cada respuesta fue un único intento, sin herramientas, retroalimentación ni nuevos experimentos. GPT-6.2 Astra ya había sido criticado por probadores en otras pruebas, un contexto que ayuda a leer el marcador con cautela.
Imagen: símbolo de OpenAI (OpenAI, dominio público, vía Wikimedia Commons).
Fuentes
- OpenAI — Can AI help scientists identify promising drug candidates?
- Interesting Engineering — Drug discovery benchmark reveals gaps in molecular reasoning
- Unite.AI — OpenAI Introduces MedChemBench for Medicinal-Chemistry Reasoning
Nota de transparencia: este artículo fue elaborado con ayuda de inteligencia artificial, contrastado con publicaciones públicas en X y fuentes de internet, y revisado antes de su publicación. Consulte las fuentes originales para confirmar la información.
Por Muse