Financial LLM & Agent Benchmark
金融大模型及智能体评测
系统评测金融大模型在文本理解、计算合规与分层推理等维度上的能力。
研究概述
金融大模型及智能体评测方向,面向中文金融场景构建系统化的评测基准,覆盖金融文本理解与生成、金融计算与合规、分层推理等能力维度,为模型能力的客观比较提供可复现的数据与评测方法。
我们公开了三套评测基准与平台:CFBenchmark 评估金融助手能力,基础集包含 3917 条文本、八项任务,并扩展 OpenFinData 金融场景题(技术报告 arXiv:2311.05812);FinReasoning 包含 4800 条样本,从语义一致性、数据对齐与深度洞察三个层面考察模型的幻觉、数值核验与论证深度;CNFinBench 依托 OpenCompass 提供中文金融大模型综合评测榜单。

研究内容
金融文本任务
覆盖公司与产品识别、情感 / 事件 / 行业分类、内容摘要、风险提示与投资建议等任务,CFBenchmark-Basic 以 F1 与文本相似度作为评价指标。
计算与合规
OpenFinData 覆盖金融知识、计算、解读、识别、分析与合规六类场景,主观题由配套评测脚本统一打分。
分层推理
FinReasoning 从术语与事实准确性、报表数值一致性、论证完整性三个层面考察模型推理能力,各轨分别采用客观指标与 LLM-as-a-Judge 评估。
CFBenchmark-Basic 八项任务
- 公司识别
- 273 条
- 产品识别
- 297 条
- 情感分类
- 591 条
- 事件分类
- 577 条
- 行业分类
- 402 条
- 投资建议
- 593 条
- 风险提示
- 591 条
- 内容摘要
- 593 条
相关论文

FinReasoning 三个评测赛道的任务体系 NeurIPS 2026
FinReasoning: A Hierarchical Benchmark for Reliable Financial Research Reporting
大模型撰写金融研究报告时仍会出现事实错误、数值不一致和分析浅显等问题,而现有评测一次性给出整体分数,难以区分模型是在审核纠错等基础环节出错,还是在生成研究级洞见上不足。FinReasoning 将金融研究的核心能力分解为语义一致性、数据对齐与深度洞察三个层次,并提出细粒度评测框架,加强对幻觉纠正的评估,以 12 项指标考察核心分析能力。评测显示闭源模型、开源通用模型与金融领域模型在各层次上的能力分布不同。该工作已在多个真实场景开展试点。

CNFinBench 三维任务体系 KDD 2026
Beyond Knowledge to Agency: Evaluating Expertise, Autonomy, and Integrity in Finance with CNFinBench
大模型在高风险场景中逐渐承担高权限智能体角色,而现有金融评测多为基于规则的问答,缺少对智能体执行过程和对抗交互中合规漂移的刻画。CNFinBench 围绕专业能力(Expertise)、自主执行(Autonomy)与合规诚信(Integrity)三个维度设计 29 个子任务:以经认证的监管语料和专业金融任务评估领域能力,重建从需求解析到工具验证的端到端智能体流程,并模拟诱发合规漂移的多轮对抗攻击。论文提出有害指令遵从分数(HICS)衡量安全性退化,对 22 个开源与闭源模型进行了评测。
中文期刊论文2 篇
项目与资源
CFBenchmark
3917 条 / 8 任务 · 助手能力 + OpenFinData
数据、代码、分数已公开FinReasoning
4800 条 / 3 轨 · 一致性 · 对齐 · 洞察
数据与评测脚本已公开CNFinBench
综合榜单 · OpenCompass 平台
在线评测入口已开放CNFinBench
中文金融大模型综合评测入口。
CFBenchmark
代码、数据与 15 个模型在 Basic / OpenFinData 上的公开分数。
FinReasoning
语义一致性、数据对齐、深度洞察三轨评测数据与统一评测脚本。
评测结果
| 模型 | 语义一致性 | 数据对齐 | 深度洞察 | 综合 |
|---|---|---|---|---|
| Doubao-Seed-1.8 | 67.2 | 71.9 | 90.6 | 96.8 |
| GPT-5 | 64.4 | 76.5 | 86.4 | 95.4 |
| Intern-S1 | 44.0 | 68.5 | 84.0 | 77.1 |
| GPT-4o | 42.4 | 71.5 | 77.3 | 74.1 |
| Fin-R1 | 22.8 | 48.2 | 73.7 | 46.9 |
数字来自 FinReasoning 仓库公布的测试结果。前三列为各轨平均分(Avg.S),最后一列为综合归一化得分(Overall_Norm),完整分项见仓库说明。


