-
曾剑平:AI进入金融场景后,风险治理必须理解数据、模型与智能体边界
最后更新: 2026-05-22 09:51:04以下为曾剑平发言全文(已经本人审定):
我主要从AI安全的角度谈一点看法。因为我是做人工智能安全相关研究的,所以看这个问题时,会更多关注AI进入金融场景以后带来的风险结构变化。AI不是简单的效率工具,它进入金融以后,会和传统金融风险发生叠加。
金融行业原来讨论比较多的是信用风险、市场风险、操作风险等传统风险。但如果从技术角度看,AI系统本身也有一整套风险,包括物理层、数据层、模型层、算法层、应用层等不同层面的风险。AI进入金融业务后,相当于给风险打开了新的路径,也为攻击者提供了新的入口。
首先是数据层面的风险。AI模型训练依赖大量数据,金融场景中很多任务也依赖数据,比如信用评估、金融欺诈检测、客户画像、交易监控等。如果训练数据被污染,或者输入数据被攻击者有意操纵,模型输出就可能出现偏差。所谓数据投毒,就是在数据源头上影响模型,使它在特定场景下给出错误判断。
数据隐私也是很重要的问题。现在国家非常重视数据安全和个人信息保护。AI模型训练和调用过程中,可能会涉及大量个人信息、交易信息和机构数据。数据一旦进入训练或推理流程,后续如何追溯、如何删除、如何保护,都不是简单问题。金融行业本身对数据敏感度很高,所以AI应用必须特别重视数据合规和隐私保护。
其次是模型层面的风险。大语言模型本质上是概率模型,它根据上下文生成概率上更可能出现的答案。概率高不等于事实正确。如果输入数据有偏斜,或者问题设计本身存在诱导,模型就可能给出看起来合理但实际错误的结果。这也是为什么大模型会出现幻觉。
现在有一种倾向,认为有了大模型以后,传统知识学习就不重要了。我认为这是错误的。一个人如果没有知识,就很难拥有真正的判断力。没有判断力,就无法判断AI给出的答案大方向是否正确,也无法识别它在哪些细节上可能出错。对于学生来说,基础知识不是可以被AI替代的东西,而是你使用AI、判断AI和纠正AI的前提。
模型偏见也是需要注意的问题。如果训练数据本身包含偏见,或者数据样本不均衡,模型输出就可能产生不公平结果。在金融场景中,这可能影响信用评估、客户分类、风险定价等环节。如果这类偏见不能被发现和校正,就可能进一步影响金融公平和风险管理。
此外,还有责任归属和系统依赖问题。AI模型输出错误以后,责任由谁承担?是模型提供方、系统开发方、金融机构,还是具体使用人员?在金融业务中,责任链条必须清楚。否则,一旦AI参与投研、交易、风控或客户服务,出问题以后很难界定责任。
这些AI风险会和传统金融风险叠加。比如数据偏差可能带来信息不对称,模型误判可能影响信用风险,系统集中使用同一模型或同一接口,可能形成新的集中性风险。随着AI在金融中的应用越来越广,每个模型、接口和智能体都可能成为风险入口。对这些新型风险的管控,不能等到大规模问题出现以后才开始,而要在应用初期就纳入治理框架。
因此,我认为金融学生和金融从业者需要具备基本的AI素养。你使用AI,如果对它的原理、假设和边界完全不了解,心里其实是没有底的。很多AI系统背后都有模型假设,但这些假设未必会明确告诉使用者。使用者如果不知道模型基于什么数据、适用于什么场景、可能有什么偏差,就很容易过度相信AI结果。
比如我们用AI处理数据时,模型可能会在两个变量之间发现某种关系。但这两个变量本来可能并没有真实关系,只是在样本里出现了偶然相关。AI如果把这种关系当成规律,输出结果就会误导使用者。金融场景中这种误判可能非常危险,因为它可能进入投资、授信、风控或交易决策。
标签- 责任编辑: 蔺渊
-
直通北部湾,中国打通西南出海新水道 评论 31
沙特关键输油管道遇袭,“预防性关闭” 评论 68
“我乐见爱尔兰统一”,英国:??? 评论 86
俄罗斯警告:在切尔诺贝利禁区,乌军有大动作 评论 55
1拼低工资?我认识好几个造船厂的管理者,太了解造船了评论 76 赞 50
2谁在阻碍中国人了解印度的饮食评论 60 赞 1
3粤语童谣纳入了人教版音乐课,让外省孩子们多学方言,这是文化自信的表现评论 51 赞 4
4胡塞武装势如破竹!美国力不从心,沙特危矣评论 39 赞 34
5中东战争给美国亚太盟友上了一堂地缘课评论 27 赞 5
6张雪称儿子考60分就很好,并劝年轻人努力搬砖,如何看待他的观点?评论 26 赞 2
7暴雨夜,两个壮汉当街拖走一个18岁女孩,谁在给“卖女儿”开绿灯?评论 21 赞 19
8一次打坏12架战机!美空军基地遭伊朗导弹重击,伊朗导弹越打越准!评论 21 赞 18
9初中没上完的发小相信大明统治了全世界评论 16 赞 0
10炮打中国数据中心?A畜们正在深度绑架美国政治评论 16 赞 7最新闻 Hot-
“胡塞主动联系,希望美国‘不要介入’”
-
36年来首次!智利政府不举行阿连德纪念仪式
-
“瑞典民主党若首次入阁,将进一步呼应欧洲极右翼”
-
欧洲央行行长:当前通胀冲击将持续更长时间
-
“特朗普说给美国选民听的”
-
“小博索纳罗有份反华文件,背后藏着万斯的影子”
-
沙特关键输油管道遇袭,“预防性关闭”
-
乌方放风:正准备于10月恢复谈判,三方一起谈
-
法拉奇不到24小时吸金7200万英镑,“远超英国两大党”
-
“我乐见爱尔兰统一”,英国:???
-
俄罗斯警告:在切尔诺贝利禁区,乌军有大动作
-
离谱!特朗普:人类灭绝?我就担心中国…
-
“这是一次又一次的背叛”
-
911纪念仪式,穆斯林市长还是去了
-
“瑞典不得不服软,中国太硬”
-
日本前外相岩屋毅等将访华,“感谢中方接受”
-

观察员





上海市互联网违法与不良信息举报中心