钙钛矿文献AI助手只“答对一半”：真正的短板不是大模型，而是那张数据表
导读
一篇最新arXiv预印本用755道定量问答、45,441条实测器件记录，给“钙钛矿文献AI助手”算了一笔账：零样本仅1.6%~6.5%，常规段落检索最高16%~23%，让模型用只读SQL查询结构化器件表后才升到约51%。我们简单解读这项工作，并聊聊它对光伏研发、导入工程师用AI查文献，以及企业建设内部实验数据库的启示。
这两年，不少研发同事已经习惯把文献丢给AI，问一句：“近两年钙钛矿器件的最高效率是多少？”“用了某种空穴传输层的器件，开路电压平均多少？”AI回答得流畅又自信，但它答对了吗？前几天arXiv上的一篇预印本，第一次用由实测数据算出来的标准答案给这类问题打了分。结果是：最好的方案，也只答对一半。
01这篇论文做了什么
论文题为《Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics》（钙钛矿光伏结构化检索增强生成基准），作者为Qiwei Han、Chi Zhou、Gaoxiang Yuan，10月下旬发布于arXiv（编号2610.25575），正文8页。
它的出发点很朴素：现在评价“文献AI助手”的基准，大多看回答和参考文本像不像，或者让另一个大模型来打分，很少拿真实实验数据去核对。而在钙钛矿这类实验材料学科里，研发人员最关心的问题往往是定量的，而且要跨几十、上百篇论文汇总才能回答。
- 题库：755道定量问答题，每道题的标准答案不是人写的，而是直接从器件数据库里计算出来的。
- 真值来源：45,441条实测器件记录，其中40,889条是截至2021年的人工整理记录，4,552条是从2022–2026年新文献中抽取的记录。
- 文本语料：25,662篇论文、158,274个段落。
- 硬件条件：一个14B参数的开源模型，跑在单张24GB显卡上，一台普通工作站就能复现。
题目分为“历史文献”（2021年及以前）和“新文献”（2022–2026年）两组，后者相当于考察模型面对训练数据之外的新知识时表现如何。
02成绩单：从几乎全错到答对一半
作者一共对比了6种检索架构，结果用一张表就能说清：
| 方案 | 做法 | 准确率 |
|---|---|---|
| 零样本 | 不给任何资料，模型凭“记忆”回答 | 1.6%~6.5% |
| 段落检索（RAG） | 从15.8万段文本里找相关段落喂给模型 | 最高16%~23% |
| 结构化查询（SQL） | 模型编写只读SQL，查询器件数据表 | 51.5%（历史）/ 50.8%（新文献） |
表1 不同检索方案的准确率（数据来源：arXiv:2610.25575摘要）
图1 不同方案在755道定量题上的准确率（数据来源：arXiv:2610.25575）
三个数字值得细品。第一，零样本只有个位数，说明大模型“背下来”的钙钛矿数据基本不可用，问具体数值时它多半是在“编”。第二，加上段落检索后能提到两成左右，但很快触顶。第三，换成查表后直接跳到五成，而且新、旧文献两组几乎一样，说明提升不是靠模型“见过”，而是靠数据本身。
摘要称，结构化方案相对“混合文本检索”有三十个百分点量级的优势（arXiv页面上该数值显示为“33.01.8”，疑似排版异常，确切数值以PDF原文为准）。
同样一个14B模型，只是换了“喂数据”的方式，准确率就从两成升到五成：决定上限的是数据组织方式，而不是模型大小。
03为什么段落检索会失灵？
关键在题型。论文指出，涉及极值、分布和带条件计数的“聚合类问题”，单靠文本检索几乎无解。
举个我们熟悉的例子：“2023年以后报道的反式结构钙钛矿电池，PCE超过25%的有多少个？”要回答它，需要把几千篇论文里所有符合条件的器件都找出来、逐个比较、再计数。段落检索的工作方式是“找最相关的十几段话”，天然只能看到冰山一角，就像只翻十页实验记录本，就要回答整个实验室三年的良率分布。
而结构化表格让这道题变成一行SQL：按结构、年份、效率筛选，再计数。模型只需要把自然语言“翻译”成查询语句，算术交给数据库，不必再去“记”或“猜”。
图2 段落检索与结构化查询两条路线的对比（示意）
- 文本检索擅长：定义、机理、某篇文章的具体做法，回答“是什么、为什么”。
- 结构化查询擅长：最大值、平均值、分布、计数、趋势，回答“有多少、哪个最好”。
- 两者结合：先用表找到目标器件，再回到原文看工艺细节，才是完整的研发查询链路。
04对光伏研发人的三点启示
这虽然是一篇钙钛矿论文，但结论对整个光伏材料圈都适用。
- 给AI查文献划条边界：问机理、找思路，AI是好帮手；问具体数值、问统计结论，一定要看它有没有给出可追溯的数据来源。即便是本文最好的方案，也仍有约一半的题答错。
- 企业数据库，先“表”后“模型”：很多公司正打算用大模型做内部知识库，把多年的实验报告、测试报告、失效分析报告一股脑喂进去。这篇论文给出的信号是：如果不先把材料批次、工艺窗口、IV数据、可靠性衰减等关键参数系统地抽取成结构化表格，AI再聪明也只能在段落里“碰运气”。作者的结论正是：系统化的表格抽取，是文献级定量查询的前提条件。
- 数据规范比模型选型更值钱：字段怎么定义、单位怎么统一、测试条件怎么记录，这些“脏活”决定了AI能走多远。对材料导入、可靠性和认证团队来说，现在开始规范实验数据记录，就是在为几年后的AI助手打地基。
05放在同类工作里看
把这篇论文放进最近两年的钙钛矿AI工作里，它的位置会更清楚：
- 数据底座：Perovskite Database Project（Jacobsson等，Nature Energy 2022）人工整理了来自1.5万多篇论文、4.24万多个器件的数据，每个器件最多约100个参数，文献截至2020年2月。本文“截至2021年”的4万多条人工记录，规模与之相近，很可能以它为基础扩充，但需以原文为准。
- 文本路线：香港科技大学（广州）团队在EMNLP 2025 Findings发表的Perovskite-LLM，基于1,517篇论文构建知识图谱、5.5万多条问答对，并微调了8B/7B模型；其评测主要用Rouge-L和“大模型评委”打分。这恰好是本文所说的“看像不像、用AI打分”的评价方式，两者可以互补着看。
- 表格抽取：香港城市大学团队2025年在Scientific Data发表的工作，用基于规则的自然语言处理工具（ChemDataExtractor等）从3,164篇论文中自动抽取了30个制备与器件字段，自动验证平均准确率约0.90。这说明“把文献变成表”这一步本身也有约一成的误差，会直接传递到下游的问答准确率里。
换句话说，行业正在从“让模型读懂文献”走向“先把文献变成可查询的数据”，而抽取质量会成为下一个瓶颈。
06我们的点评
值得肯定：用实测数据算真值、而不是“用AI给AI打分”，这个评测思路很扎实；用单卡14B开源模型做实验，也意味着中小企业和高校课题组完全可以借鉴、复现。
需要保留的地方也有几点：
- 预印本身份：论文尚未经过同行评议，结论还需等待正式发表和同行复核。
- 细节待核：所用14B模型的具体名称、2021年前那4万多条人工整理记录的来源、代码和数据是否开放，摘要中均未写明。
- 新数据怎么来：2022–2026年的4,552条记录是“抽取”得来的，抽取方法与质量本身就会影响真值的可靠性；参考同类工作约九成的抽取准确率，这一部分的真值也需要谨慎看待。
- 五成仍不够用：对研发决策来说，答错一半意味着每个结论仍需人工复核。剩下的错误出在SQL写错、表字段缺失还是数据本身有误，值得关注全文中的误差分析。
07写在最后
过去我们谈AI+材料研发，注意力常常放在“哪个大模型更强”。这篇论文提醒我们：在定量问题上，决定AI上限的，往往是那张没人愿意整理的数据表。
对光伏人来说，这其实是个好消息：模型可以买、可以换，但结构清晰、口径统一的实验数据，只有长期深耕的团队才能积累，这才是真正的护城河。后续我们会继续跟踪这篇论文的正式版本，以及AI在光伏材料研发、可靠性分析中的落地案例。你们团队在用AI查文献或建实验数据库时，遇到过哪些问题？欢迎与我们交流。
AI查文献：问“为什么”可以信它，问“有多少”先问数据表在哪。
参考资料
- Qiwei Han, Chi Zhou, Gaoxiang Yuan. Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics. arXiv:2610.25575 [cs.LG], 2026.
- T. J. Jacobsson, et al. An open-access database and analysis tool for perovskite solar cells based on the FAIR data principles. Nature Energy, 2022, 7: 107–115.
- Xiang Liu, et al. Perovskite-LLM: Knowledge-Enhanced Large Language Models for Perovskite Solar Cell Research. Findings of EMNLP 2025.
- A. Valencia, et al. Auto-generating a database on the fabrication details of perovskite solar devices. Scientific Data, 2025, 12: 270.
十余年光伏研发与技术团队｜硬核专业知识分享
材料 · 可靠性 · 失效分析 · 标准认证 · 产品 · 工艺
AI+光伏探索交流，欢迎合作
声明：
1. 原创内容仅代表作者个人观点，仅供参考，不构成投资建议。
2. 转载及引用内容均注明出处，尊重原创。
3. 部分内容含AI辅助（图表生成、数据检索、概念说明等），核心框架与重点内容由本技术团队撰写，并经人工审核。
4. 如有不实或侵权，请留言或联系我们处理