VICENA GYM · HYDROGEN

基于实验室记录构建的评测与学习环境

Hydrogen 是首个任务集,任务围绕燃料电池与电解池材料展开,每一项都按实测结果评分。模型需要从原始仪器文件计算性能指标、审查实验记录、预测留出的实验结果,并在预算之内运行一间虚拟实验室。

这里展示的评测基于占位用的合成记录构建,这些记录代替的是真实的实验室记录。下文展示了三条真实记录,完整的真实数据集需获得授权后使用。

80
条占位记录
4
个研究方向
334
项评测任务
681
项训练任务
116
个评测回合

排行榜

基线与模型在同一批任务上的得分

每一行都在精简集上评分:从评测中抽取的 69 个任务和 8 个实验室回合。 分数范围为 0 到 1。每个层级的分数是其各类任务得分的平均值,总分是四个层级的平均值,因此数量众多的单项技能任务不会盖过为数不多的预测类和智能体类任务。

条目总分测量判断预测行动类型
参考分析与最优配方 由程序生成的参考解答,以及每间实验室的最优配方。它说明每项任务都可解;预测类任务没有参考解答。– 1.001.00–1.00上限
高斯过程回归与贝叶斯优化 常规统计工具,只能参与其中两个层级。模型只有超过它们,才在这两个层级上体现出价值。– ––0.390.44经典方法基线
零能力基线 所有答案留空,所有论断一律判为“证据不足”,所有预测一律取该批实验的平均值,在实验室中随机搜索。0.12 0.000.050.070.36基线
实验室的标准配方 不做任何实验,直接提交标准配方。– –––0.01基线

各模型按任务类型的得分

每个模型只运行一次,每个任务都在一个新对话中进行,对话里只有该任务的文件。条目中注明了模型所用的智能体软件。短横线表示该条目没有尝试这一类任务。

条目结果预测整案分析
参考分析与最优配方 –1.00
GPT-6.1 Sol OpenAI · Vicena agent0.500.66
高斯过程回归与贝叶斯优化 0.39–
零能力基线 0.070.23

真实记录

三条真实的实验室记录

评测中的任务以实验室的日常工作记录为蓝本。这三条记录是按同一路线制备的铁–氮–碳氧催化剂,每条都附有合成过程、测试条件和仪器原始文件。下列数值由评测的参考分析从原始文件计算得到。

FeNC1 的衍射图谱、FeNC1 与 FeNC2 的氧还原曲线,以及 FeNC3 在三种基底上的析氧曲线
由原始文件得到:(a)FeNC1 中未注明的杂质是二氧化硅;(b)FeNC1 与 FeNC2 配方相同,却相差 60 mV;(c)在泡沫镍上,基底本身就有活性。
样品配体 : 锌氧还原半波电位10 mA/cm² 下的析氧过电位
FeNC14 : 10.767 V未测量
FeNC24 : 10.830 V未测量
FeNC38 : 10.807 V527 mV

对这三条记录的审核发现了什么

一种没有人注明的杂质

有一个样品标注为“含杂质”。它的衍射图谱显示出石英和方石英,也就是来自炉内石英器皿的二氧化硅,而不是人们通常以为的残余锌或铁。

文件名指向了另一个样品

某个样品文件夹里的每一张显微照片都用了另一个样品的名字。一个文件属于哪个样品,必须依据记录来确定。

缺少对照的结果

催化剂在泡沫镍上的电流是在玻碳上的四倍,但泡沫镍本身就是催化剂,而实验没有测量空白泡沫镍作为对照。

这里只发布结果。记录的文件需获得授权后提供。

这些记录来自 Vicena 的实验数据。我们可以从实验室存档或新开展的实验中提供同类记录,用于评测和训练。 查看实验数据

任务

四个层级,从单项技能到一次完整的研究

较高层级会用到较低层级的技能,每个评分器都逐项给分,因此长任务的每一步都有相应的奖励。

测量

按给定的定义,从仪器导出的原始文件中计算性能指标,或解读衍射图谱、显微照片和能谱。以同一文件的参考分析结果为准,按容差评分。

  • 定量计算
  • 表征解读

评测 156 项 · 训练 313 项

判断

指出一条记录中会产生误导的问题,判断一项论断是得到支持、被否定还是无法判定,并提出足以验证结论的对照实验。评分依据包括预先埋入的缺陷、由数据算出的判定,以及关键对照实验的评分细则。

  • 记录审查
  • 论断判断
  • 对照设计

评测 129 项 · 训练 291 项

预测

预测一批实验中被留出的结果,并为每个结果给出 80% 的预测区间。以实测值为准,既考察排序,也考察区间能否在不过宽的前提下覆盖实测结果。

  • 结果预测

评测 24 项 · 训练 22 项

行动

在容器中分析一条记录的完整文件夹,或在预算之内运行一间虚拟实验室并提交最优配方。评分方式为按指标、物相、问题和判定逐项给分,或按所提交配方与最优配方的接近程度给分。

  • 整案分析

评测 25 项 · 训练 55 项

任务示例

一项任务是什么样子

以下四项练习任务出自同一条纳米纤维氧电极的合成记录。模型会收到任务说明和该记录的文件,并以一个 JSON 对象作答。

任务

From the four symmetric-cell impedance files (attached), report the electrode's ASR at 600 °C in Ω cm² and the activation energy of its polarisation in eV between 550 and 700 °C. The laboratory did not record the electrode area; use 0.5 cm² per electrode. Check that each file is what its name says before you use it.

Ohmic resistance: the real impedance where the imaginary part changes sign at high frequency (interpolate linearly between the two neighbouring points), or the real part at the highest frequency if it never changes sign. Total resistance: the real impedance at the lowest measured frequency. Polarisation resistance: total minus ohmic. Area-specific resistance (ASR): polarisation resistance times the electrode area, divided by two for a symmetric cell. Activation energy: minus the slope of ln(1/ASR) against 1/T (T in kelvin), times the Boltzmann constant 8.617 × 10⁻⁵ eV/K.

任务文本为英文。

文件

  • GDC6@PBSCF4 sym EIS 700C.csv
  • GDC6@PBSCF4 sym EIS 650C.csv
  • GDC6@PBSCF4 sym EIS 600C.csv
  • GDC6@PBSCF4 sym EIS 550C.csv

答案格式

{
 "asr_600_ohm_cm2": "number",
 "ea_ev": "number"
}

参考答案的得分为 1.00。

学习环境

一间有预算限制的虚拟实验室

每个研究方向都有一间实验室。智能体决定合成什么、测量什么,每一步都从预算中扣除费用,最后提交它认为最优的配方。每个回合的实验室各不相同,最优配方也随之变化,从其他回合带来的配方只能作为起点,最优配方必须从本回合的测量结果中找出。

  1. 动作
    {"action":"synthesise", "recipe":{"gdc_fraction":0.5, "sinter_c":900}}
    观测
    {"batch":"B1", "recipe":{"gdc_fraction":0.5, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.6, "voltage_kv":20}, "humidity_pct":33, "mat":"uniform fibres", "budget_left":13}
  2. 动作
    {"action":"measure", "batch":"B1", "technique":"sym_eis"}
    观测
    {"batch":"B1", "technique":"sym_eis", "asr_ohm_cm2":{"550":0.9638, "600":0.3818, "650":0.1621, "700":0.086}, "budget_left":12.5}
  3. 动作
    {"action":"synthesise", "recipe":{"gdc_fraction":0.45, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    观测
    {"batch":"B2", "recipe":{"gdc_fraction":0.45, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}, "humidity_pct":42, "mat":"uniform fibres", "budget_left":11.5}
  4. 动作
    {"action":"measure", "batch":"B2", "technique":"sym_eis"}
    观测
    {"batch":"B2", "technique":"sym_eis", "asr_ohm_cm2":{"550":0.7301, "600":0.2787, "650":0.1301, "700":0.068}, "budget_left":11}
  5. 动作
    {"action":"submit", "recipe":{"gdc_fraction":0.45, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    观测
    {"result":"submitted", "recipe":{"gdc_fraction":0.45, "coaxial":true, "calcine_c":700, "sinter_c":900, "flow_ml_h":0.4, "voltage_kv":25}}
    奖励 0.59
纳米纤维实验室中的一个简短回合。提交设计空间内的最优配方得 1 分,提交实验室的标准配方得 0 分。

简单策略能走多远

下图为各策略在评测回合中的平均奖励。在这样的预算下,随机搜索和贝叶斯优化都远低于 1;想做得更好,需要懂得其中的化学原理。

  • 标准配方
  • 随机搜索
  • 贝叶斯优化
M–N–C 单原子氧电催化剂
0.00
0.33
0.32
核壳结构纳米纤维氧电极
0.09
0.14
0.34
直接氨燃料电池的催化层
0.00
0.38
0.27
质子导体电解质的烧结
0.02
0.22
0.24

在你自己的机器上运行

环境随评测包一起提供,可在本地运行。一条命令即可在你的机器上启动各个实验室、任务和评分服务,交互方式与 Gym 类似:开始一个回合,发送动作,读取观测和最终奖励。

数据集

四个研究方向,共八十条占位记录

一条记录对应一种材料的一次完整实验:为什么做、材料如何制备、测试条件,以及仪器文件。历史记录保持课题组日常留存的样子,带有缺漏和笔误;委托记录则是一批经过设计的实验,包含实际执行的合成步骤、重复实验和对照。

研究方向历史委托依据
M–N–C 单原子氧电催化剂 由锌基咪唑骨架热解得到的 Fe、Co、Fe–Co、Co–Mn 及磷掺杂催化剂,在碱性电解液中测试氧还原与析氧性能。1420已清点的记录
核壳结构纳米纤维氧电极 静电纺丝制备的钙钛矿纤维,外包掺杂氧化铈壳层,在质子陶瓷电池中于 700 至 550 °C 测试,涵盖燃料电池与电解两种模式。414已清点的记录
直接氨燃料电池的催化层 涂覆在质子陶瓷燃料电池阳极上的 Ni–Fe 氨分解催化层,分别在氢气和氨气中对比,并测量尾气转化率和 100 小时恒压运行。68计划中的项目
质子导体电解质的烧结 添加 NiO、ZnO 或 CuO 烧结的锆铈酸钡电解质,表征其致密度、物相、显微结构,以及 700 至 400 °C 的电导率。68计划中的项目

这些记录是占位用的合成记录

它们代替的是不对外公开的真实实验室记录。这些记录由材料模型生成,在已有真实记录的方向上按真实记录校准,用来展示真实数据集的结构和难度。它们不是实测数据,也不是 Vicena 交付的内容,不得作为研究结果引用。

这里展示了三条真实记录

“真实记录”一节中的结果来自三条尚未发表的实验室记录。完整的真实数据集由实际开展的实验组成,附有科研人员的实验记录和仪器原始文件,仅授权用于训练和评测,不公开发布。

方法

如何保证分数可信

答案从不随任务下发

标准答案与模型能看到的一切内容分开存放,并有测试检查任何记录和任务中都不含答案。

定义写在任务里

每项任务都给出所求物理量的定义,分数衡量的是分析本身,而不是对惯例的猜测。

文件名不可轻信

记录中含有标注错误、重复、为空以及量纲出错的文件,与真实记录一样。只看文件名就直接采用,算出的指标就是错的。

也有没有问题的记录

大多数委托记录没有缺陷,处处都报问题的模型会被扣分。

评测数据带有标记串

评测文件带有唯一的字符串,便于训练语料将其剔除,也便于发现数据泄漏。

VICENA-GYM-HYDROGEN-CANARY 7c1e5a2e-3f0b-4d57-9c44-b1a6d2f8e913

访问

评测包、真实数据集与定制环境

你可以申请评测包,在自己的机器上运行任务和环境;也可以申请真实数据集的授权,或基于你自己实验室的记录定制环境。

引用

如使用本评测,请按以下格式引用。

@misc{vicena_gym_hydrogen_2026,
  title  = {Vicena Gym: Hydrogen. A benchmark and learning environment
            from laboratory records of fuel-cell and electrolyser materials},
  author = {Vicena},
  year   = {2026},
  note   = {Version v1, synthetic records},
  url    = {https://vicena.ai/rl-environments}
}