VICENA GYM · HYDROGEN

Una evaluación y un entorno de aprendizaje construidos con registros de laboratorio

Hydrogen es el primer conjunto: tareas sobre materiales para pilas de combustible y electrolizadores, cada una puntuada frente a mediciones. Los modelos calculan magnitudes a partir de archivos de instrumento, auditan registros, predicen experimentos reservados y dirigen un laboratorio virtual con un presupuesto.

La evaluación que se muestra aquí está construida con registros sintéticos provisionales, que ocupan el lugar de registros reales de laboratorio. Más abajo se muestran tres registros reales; el conjunto de datos real completo se ofrece bajo licencia.

80
registros provisionales
4
líneas de investigación
334
tareas de evaluación
681
tareas de entrenamiento
116
episodios de evaluación

CLASIFICACIÓN

Líneas base y modelos, puntuados con las mismas tareas

Todas las filas se puntúan con el conjunto corto: 69 tareas y 8 episodios de laboratorio tomados de la evaluación. Las puntuaciones van de 0 a 1. La de un nivel es la media de sus tipos de tarea y la global es la media de los cuatro niveles, de modo que las muchas tareas de una sola destreza no pesan más que las pocas de predicción y de agente.

EntradaGlobalMedirJuzgarPredecirActuarTipo
Análisis de referencia y mejor receta Las soluciones de referencia generadas por programa y la mejor receta de cada laboratorio. Demuestra que todas las tareas tienen solución; las predicciones no tienen solución de referencia.– 1,001,00–1,00Cota superior
Regresión con procesos gaussianos y optimización bayesiana Herramientas estadísticas habituales en los dos niveles que pueden abordar. Un modelo solo aporta algo ahí si las supera.– ––0,390,44Línea base clásica
Línea base sin destreza Respuestas vacías, «insuficiente» para todas las afirmaciones, la media de la campaña para todas las predicciones y búsqueda aleatoria en el laboratorio.0,12 0,000,050,070,36Línea base
Receta estándar del laboratorio Entregar la receta estándar sin hacer ningún experimento.– –––0,01Línea base

Modelos por tipo de tarea

Cada modelo se ejecutó una sola vez, con cada tarea en una sesión nueva que solo contenía los archivos de esa tarea. Cada entrada indica el software de agente en el que se ejecutó el modelo. Un guion indica un tipo de tarea que la entrada no abordó.

EntradaPredicciónCaso completo
Análisis de referencia y mejor receta –1,00
GPT-6.1 Sol OpenAI · Vicena agent0,500,66
Regresión con procesos gaussianos y optimización bayesiana 0,39–
Línea base sin destreza 0,070,23

REGISTROS REALES

Tres registros reales de laboratorio

Las tareas de la evaluación siguen el modelo de los registros de trabajo de un laboratorio. Estos tres son catalizadores de oxígeno de hierro, nitrógeno y carbono preparados por la misma ruta, cada uno con su síntesis, sus condiciones de ensayo y sus archivos de instrumento. Los valores que siguen los calcula, a partir de esos archivos, el análisis de referencia de la evaluación.

Difractograma de FeNC1, curvas de reducción de oxígeno de FeNC1 y FeNC2, y curvas de evolución de oxígeno de FeNC3 sobre tres sustratos
A partir de los archivos de instrumento: (a) la impureza sin identificar de FeNC1 es sílice; (b) FeNC1 y FeNC2 son la misma receta y difieren en 60 mV; (c) sobre espuma de níquel, el propio sustrato es activo.
MuestraLigando : zincPotencial de media onda de la reducción de oxígenoSobrepotencial de la evolución de oxígeno a 10 mA/cm²
FeNC14 : 10,767 Vsin medir
FeNC24 : 10,830 Vsin medir
FeNC38 : 10,807 V527 mV

Qué encontró una auditoría de los tres registros

Una impureza que nadie identificó

Una muestra lleva la etiqueta «con impureza». Su difractograma muestra cuarzo y cristobalita: sílice del material del horno, y no el zinc o el hierro residuales que cabría suponer.

Nombres de archivo que apuntan a otra muestra

Todas las micrografías de la carpeta de una muestra llevan el nombre de otra. A qué muestra pertenece un archivo hay que establecerlo con el registro.

Un resultado sin su control

Sobre espuma de níquel, el catalizador da cuatro veces la corriente que da sobre carbono vítreo, pero la espuma es en sí un catalizador y no se midió la espuma sola como control.

Aquí solo se publican resultados. Los archivos de los registros se entregan bajo licencia.

Estos registros proceden de los datos experimentales de Vicena, que suministra registros como estos para evaluación y entrenamiento, a partir de archivos de laboratorio o de nuevos experimentos. Ver los datos experimentales

TAREAS

Cuatro niveles, de las destrezas sueltas a una investigación completa

Los niveles altos usan las destrezas de los bajos y todos los evaluadores puntúan elemento por elemento, así que una tarea larga tiene una recompensa en cada paso.

Medir

Calcular una magnitud a partir de un archivo exportado por el instrumento, con una definición dada, o interpretar un difractograma, una micrografía o un espectro. Se puntúa con una tolerancia frente al análisis de referencia del mismo archivo.

  • Cuantificar
  • Caracterizar

156 de evaluación · 313 de entrenamiento

Juzgar

Señalar qué hace engañoso un registro, decidir si una afirmación queda respaldada, refutada o no se puede decidir, y proponer los controles que zanjarían una conclusión. Se puntúa frente a defectos introducidos a propósito, veredictos calculados con los datos y baremos de controles decisivos.

  • Auditar
  • Afirmaciones
  • Controles

129 de evaluación · 291 de entrenamiento

Predecir

Predecir los resultados reservados de una campaña, cada uno con un intervalo del 80 %. Se puntúa frente a los valores medidos: el orden, y que los intervalos contengan el resultado sin ser anchos.

  • Predicción

24 de evaluación · 22 de entrenamiento

Actuar

Analizar la carpeta completa de un registro en un contenedor, o dirigir un laboratorio virtual con un presupuesto y entregar la mejor receta. Se puntúa por cada magnitud, fase, hallazgo y veredicto, o por lo cerca que queda la receta de la mejor.

  • Caso completo

25 de evaluación · 55 de entrenamiento

TAREAS DE EJEMPLO

Cómo es una tarea

Cuatro tareas de práctica de un mismo registro sintético de un electrodo de oxígeno de nanofibras. El modelo recibe el enunciado y los archivos del registro, y responde con un objeto JSON.

Tarea

From the four symmetric-cell impedance files (attached), report the electrode's ASR at 600 °C in Ω cm² and the activation energy of its polarisation in eV between 550 and 700 °C. The laboratory did not record the electrode area; use 0.5 cm² per electrode. Check that each file is what its name says before you use it.

Ohmic resistance: the real impedance where the imaginary part changes sign at high frequency (interpolate linearly between the two neighbouring points), or the real part at the highest frequency if it never changes sign. Total resistance: the real impedance at the lowest measured frequency. Polarisation resistance: total minus ohmic. Area-specific resistance (ASR): polarisation resistance times the electrode area, divided by two for a symmetric cell. Activation energy: minus the slope of ln(1/ASR) against 1/T (T in kelvin), times the Boltzmann constant 8.617 × 10⁻⁵ eV/K.

El texto de las tareas está en inglés.

Archivos

  • GDC6@PBSCF4 sym EIS 700C.csv
  • GDC6@PBSCF4 sym EIS 650C.csv
  • GDC6@PBSCF4 sym EIS 600C.csv
  • GDC6@PBSCF4 sym EIS 550C.csv

Formato de la respuesta

{
 "asr_600_ohm_cm2": "number",
 "ea_ev": "number"
}

La respuesta de referencia obtiene 1,00.

ENTORNO DE APRENDIZAJE

Un laboratorio virtual con presupuesto

Cada línea de investigación tiene su laboratorio. El agente decide qué sintetizar y qué medir, paga cada paso con un presupuesto y entrega la receta que considera mejor. Cada episodio tiene un laboratorio distinto, y con él cambia la mejor receta, así que una receta traída de otro episodio es solo un punto de partida: la mejor hay que encontrarla con las mediciones del propio episodio.

  1. Acción
    {"action":"synthesise", "recipe":{"gdc_fraction":0.5, "sinter_c":900}}
    Observación
    {"batch":"B1", "recipe":{"gdc_fraction":0.5, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.6, "voltage_kv":20}, "humidity_pct":33, "mat":"uniform fibres", "budget_left":13}
  2. Acción
    {"action":"measure", "batch":"B1", "technique":"sym_eis"}
    Observación
    {"batch":"B1", "technique":"sym_eis", "asr_ohm_cm2":{"550":0.9638, "600":0.3818, "650":0.1621, "700":0.086}, "budget_left":12.5}
  3. Acción
    {"action":"synthesise", "recipe":{"gdc_fraction":0.45, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    Observación
    {"batch":"B2", "recipe":{"gdc_fraction":0.45, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}, "humidity_pct":42, "mat":"uniform fibres", "budget_left":11.5}
  4. Acción
    {"action":"measure", "batch":"B2", "technique":"sym_eis"}
    Observación
    {"batch":"B2", "technique":"sym_eis", "asr_ohm_cm2":{"550":0.7301, "600":0.2787, "650":0.1301, "700":0.068}, "budget_left":11}
  5. Acción
    {"action":"submit", "recipe":{"gdc_fraction":0.45, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    Observación
    {"result":"submitted", "recipe":{"gdc_fraction":0.45, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    Recompensa 0,59
Un episodio breve en el laboratorio de nanofibras. La recompensa es 1 para la mejor receta del espacio de diseño y 0 para la receta estándar del laboratorio.

Hasta dónde llegan las estrategias sencillas

Recompensa media en los episodios de evaluación. Con estos presupuestos, la búsqueda aleatoria y la optimización bayesiana se quedan muy por debajo de 1: para mejorar hace falta saber química.

  • Receta estándar
  • Búsqueda aleatoria
  • Optimización bayesiana
Catalizadores de oxígeno M–N–C de átomo único
0,00
0,33
0,32
Electrodos de oxígeno de nanofibras con núcleo y corteza
0,09
0,14
0,34
Capas catalíticas para pilas de combustible de amoniaco directo
0,00
0,38
0,27
Sinterización de electrolitos conductores de protones
0,02
0,22
0,24

Ejecútalo en tu propio equipo

El entorno viene con el paquete de la evaluación y se ejecuta en local. Una orden arranca los laboratorios, las tareas y el evaluador como un servicio en tu equipo, con un bucle al estilo de Gym: se empieza un episodio, se envían acciones y se leen las observaciones y la recompensa final.

CONJUNTO DE DATOS

Ochenta registros provisionales en cuatro líneas de investigación

Un registro es un experimento completo sobre un material: por qué se hizo, cómo se preparó el material, las condiciones de ensayo y los archivos de instrumento. Los registros históricos se conservan como los guarda un grupo en su trabajo diario, con lagunas y descuidos; los encargados son una campaña diseñada, con la síntesis tal como se ejecutó, repeticiones y controles.

Línea de investigaciónHistóricosEncargadosOrigen
Catalizadores de oxígeno M–N–C de átomo único Catalizadores de Fe, Co, Fe–Co, Co–Mn y dopados con fósforo, obtenidos por pirólisis de redes de imidazolato de zinc y ensayados para la reducción y la evolución de oxígeno en electrolito alcalino.1420Registros inventariados
Electrodos de oxígeno de nanofibras con núcleo y corteza Fibras de perovskita electrohiladas con una corteza de ceria dopada, ensayadas en celdas cerámicas protónicas de 700 a 550 °C, en modo pila de combustible y en modo electrólisis.414Registros inventariados
Capas catalíticas para pilas de combustible de amoniaco directo Capas de Ni–Fe para descomponer amoniaco sobre el ánodo de pilas cerámicas protónicas, comparadas en hidrógeno y en amoniaco, con la conversión medida en el gas de salida y ensayos de 100 h.68Proyecto previsto
Sinterización de electrolitos conductores de protones Electrolitos de circonato-cerato de bario sinterizados con NiO, ZnO o CuO, caracterizados por densidad, difracción, microestructura y conductividad de 700 a 400 °C.68Proyecto previsto

Estos registros son sintéticos y provisionales

Ocupan el lugar de registros reales de laboratorio, que no son públicos. Los generan modelos de los materiales, calibrados con registros reales donde los hay, para mostrar la estructura y la dificultad del conjunto de datos real. No son mediciones, no son lo que Vicena suministra y no deben citarse como resultados.

Aquí se muestran tres registros reales

Los resultados de la sección de registros reales proceden de tres registros de laboratorio inéditos. El conjunto de datos real completo consta de experimentos físicos, con las notas de los científicos y los archivos de instrumento. Se licencia para entrenar y evaluar modelos y no se publica.

MÉTODO

Qué hace fiables las puntuaciones

Las soluciones nunca viajan con las tareas

Las soluciones se guardan aparte de todo lo que ve un modelo, y una prueba comprueba que ningún registro ni tarea las contiene.

Las definiciones se dan

Cada enunciado define la magnitud que pide, así que la puntuación mide el análisis y no si se ha acertado la convención.

No hay que fiarse de los nombres de archivo

Los registros contienen archivos mal etiquetados, duplicados, vacíos y con la escala equivocada, como los reales. Una magnitud calculada con un archivo aceptado solo por su nombre sale mal.

Hay registros sin defectos

La mayoría de los registros encargados no tiene defectos, así que un modelo que ve problemas en todas partes pierde puntos.

La evaluación lleva una marca

Los archivos de evaluación llevan una cadena única para que los corpus de entrenamiento puedan excluirlos y para detectar filtraciones.

VICENA-GYM-HYDROGEN-CANARY 7c1e5a2e-3f0b-4d57-9c44-b1a6d2f8e913

ACCESO

El paquete, los datos reales y entornos a medida

Pide el paquete de la evaluación para ejecutar las tareas y el entorno en tu propio equipo, una licencia de los datos reales o un entorno construido con los registros de tu propio laboratorio.

CITA

Si usas la evaluación, cítala así.

@misc{vicena_gym_hydrogen_2026,
  title  = {Vicena Gym: Hydrogen. A benchmark and learning environment
            from laboratory records of fuel-cell and electrolyser materials},
  author = {Vicena},
  year   = {2026},
  note   = {Version v1, synthetic records},
  url    = {https://vicena.ai/rl-environments}
}