同济大学同济大学 数字经济研究中心网络金融安全(国家级)协同创新中心

Financial LLM & Agent Benchmark

金融大模型及智能体评测

系统评测金融大模型在文本理解、计算合规与分层推理等维度上的能力。

研究概述

金融大模型及智能体评测方向,面向中文金融场景构建系统化的评测基准,覆盖金融文本理解与生成、金融计算与合规、分层推理等能力维度,为模型能力的客观比较提供可复现的数据与评测方法。

我们公开了三套评测基准与平台:CFBenchmark 评估金融助手能力,基础集包含 3917 条文本、八项任务,并扩展 OpenFinData 金融场景题(技术报告 arXiv:2311.05812);FinReasoning 包含 4800 条样本,从语义一致性、数据对齐与深度洞察三个层面考察模型的幻觉、数值核验与论证深度;CNFinBench 依托 OpenCompass 提供中文金融大模型综合评测榜单。

CFBenchmark 金融大模型评测框架图
CFBenchmark · 金融评测框架

研究内容

金融文本任务

覆盖公司与产品识别、情感 / 事件 / 行业分类、内容摘要、风险提示与投资建议等任务,CFBenchmark-Basic 以 F1 与文本相似度作为评价指标。

计算与合规

OpenFinData 覆盖金融知识、计算、解读、识别、分析与合规六类场景,主观题由配套评测脚本统一打分。

分层推理

FinReasoning 从术语与事实准确性、报表数值一致性、论证完整性三个层面考察模型推理能力,各轨分别采用客观指标与 LLM-as-a-Judge 评估。

CFBenchmark-Basic 八项任务

公司识别
273 条
产品识别
297 条
情感分类
591 条
事件分类
577 条
行业分类
402 条
投资建议
593 条
风险提示
591 条
内容摘要
593 条

相关论文

  1. FinReasoning 三个评测赛道的任务体系
    FinReasoning 三个评测赛道的任务体系

    NeurIPS 2026

    FinReasoning: A Hierarchical Benchmark for Reliable Financial Research Reporting

    Yiyun Zhu, Yidong Jiang, Ziwen Xu, Yinsheng Yao, Dawei Cheng, Jinru Ding, Jie Xu

    大模型撰写金融研究报告时仍会出现事实错误、数值不一致和分析浅显等问题,而现有评测一次性给出整体分数,难以区分模型是在审核纠错等基础环节出错,还是在生成研究级洞见上不足。FinReasoning 将金融研究的核心能力分解为语义一致性、数据对齐与深度洞察三个层次,并提出细粒度评测框架,加强对幻觉纠正的评估,以 12 项指标考察核心分析能力。评测显示闭源模型、开源通用模型与金融领域模型在各层次上的能力分布不同。该工作已在多个真实场景开展试点。

    论文arXiv 版本OpenReview代码与数据摘要
  2. CNFinBench 三维任务体系
    CNFinBench 三维任务体系

    KDD 2026

    Beyond Knowledge to Agency: Evaluating Expertise, Autonomy, and Integrity in Finance with CNFinBench

    Jinru Ding, Chao Ding, Yidong Jiang, Wenrao Pang, Boyi Xiao, Zhiqiang Liu, Jiayuan Chen, Yun Zhong, Tiantian Yuan, Junming Guan, Dawei Cheng, Jie Xu

    大模型在高风险场景中逐渐承担高权限智能体角色,而现有金融评测多为基于规则的问答,缺少对智能体执行过程和对抗交互中合规漂移的刻画。CNFinBench 围绕专业能力(Expertise)、自主执行(Autonomy)与合规诚信(Integrity)三个维度设计 29 个子任务:以经认证的监管语料和专业金融任务评估领域能力,重建从需求解析到工具验证的端到端智能体流程,并模拟诱发合规漂移的多轮对抗攻击。论文提出有害指令遵从分数(HICS)衡量安全性退化,对 22 个开源与闭源模型进行了评测。

    论文arXiv 版本代码与数据评测平台摘要

中文期刊论文2 篇

  1. 计算机科学 2025

    大模型金融场景能力评测框架研究

    论文开放获取全文摘要
  2. 大数据 2025

    知识增强的中文金融大模型研究

    论文开放获取全文摘要

项目与资源

CFBenchmark

3917 条 / 8 任务 · 助手能力 + OpenFinData

数据、代码、分数已公开

FinReasoning

4800 条 / 3 轨 · 一致性 · 对齐 · 洞察

数据与评测脚本已公开

CNFinBench

综合榜单 · OpenCompass 平台

在线评测入口已开放
在线平台

CNFinBench

中文金融大模型综合评测入口。

助手评测

CFBenchmark

代码、数据与 15 个模型在 Basic / OpenFinData 上的公开分数。

推理评测

FinReasoning

语义一致性、数据对齐、深度洞察三轨评测数据与统一评测脚本。

评测结果

FinReasoning 公开对照(各轨平均分 / 综合归一化)
模型语义一致性数据对齐深度洞察综合
Doubao-Seed-1.867.271.990.696.8
GPT-564.476.586.495.4
Intern-S144.068.584.077.1
GPT-4o42.471.577.374.1
Fin-R122.848.273.746.9

数字来自 FinReasoning 仓库公布的测试结果。前三列为各轨平均分(Avg.S),最后一列为综合归一化得分(Overall_Norm),完整分项见仓库说明。