-
谢耘:为什么要认真讨论大语言模型的“理解”问题?
最后更新: 2024-08-21 13:16:05我们固然可以依靠信仰,将一个技术发挥到极致,就像当年Hinton等人所为;但是我们却无法依靠信仰,让一个技术去做我们期望的、又是它所力不能及的事情。每个技术都有其能力的边界,认识这个边界对于人类的努力有重要的意义,可以让我们极大地减少盲目性。一个技术的能力边界可以通过理论分析确定,也可以通过实践碰撞发现。而现代科学的强大,就在于可以从一般性原理出发确定技术方法的能力边界,所以我们才走出了传统的依靠实践碰撞掌握技术的工匠时代。今天,在“外意识”领域,我们不能仅仅满足于实践碰撞。努力形成一些机制原理层的认识,具有重大的意义。
那么,是否可以通过持续地增加模型的规模,进而统计更多的数据,让模型生成的基于表象的统计性理解去无限逼近人类的本质性理解?也就是说在“理解”这个问题上,是否也存在一个类似于概率统计中的“大数定律”——只要样本足够大,统计结果就可以无限逼近现象背后的本质规律?
这种可能性应该相当小。
首先,我们没有这方面的足够的实践可以证实利用统计方法可以实现我们期望的理解。人类已有的实践告诉我们,表象经验单纯在数量上的积累,即使再多也完成不了质的飞跃,无法形成对背后本质的洞见。或者说如果没有深思熟虑,“望”再多的“文”,也“生”不出深刻的“义”;
其次,对抽象知识的关联关系,不同于传统数理统计中对简单事件的概率描述。在传统数理统计中,我们统计的是性质一致的简单事件,并且找到了许多不同的情况下理论上的概率分布。而对于抽象知识的关联关系,因为我们面对的是大量性质不同的复杂“事件”,所以没有办法用简单的类似概率分布的方式来描述。我们现在使用的算法也不是在直接统计人类理解中的本质性关联,而是统计文字符号之间的相关性。所以用概率统计中的“大数定律”来做类比,去推论预言人工智能的统计可以实现对文字符号背后深层意义的逼近并没有多少依据。
最后,目前包括大语言模型在内的人工智能使用的统计模型,都是经验性的。经验的有效性具有很大的局限,有其推广扩展的边界。实践告诉我们,基于经验构造的系统,其复杂功能下的规模扩展性是有限的。比如,如果仅仅凭借经验,人类可以建造规模宏大但功能简单的金字塔;然而再出色的能工巧匠恐怕也修建不了达到迪拜哈利法塔那样高度而且还有那样复杂功能的建筑。相信统计模型可以因为规模上持续地扩展,而不断“涌现”出更多的“理解”上的奇迹,不仅没有理论的支撑,也缺乏充分的实践依据。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大学伯克利分校,现任计算机科学系教授(曾任系主任)、人类兼容人工智能中心主任)对基于统计深度学习的大语言模型有如下的评论:“(大语言模型)看起来聪明是因为它有大量的数据,人类迄今为止写的书、文章……它几乎都读过,但尽管如此,在接受了如此之巨的有用信息后,它还是会吐出完全不知所谓的东西。
加州大学伯克利分校计算机科学专业教授、人类兼容人工智能中心(Center for Human-Compatible AI)创始人斯图尔特·罗素(Stuart Russell) 图源:搜狐新闻
所以,在这个意义上,我认为语言大模型很可能不是人工智能的一种进步。……我们所谓往前走的唯一方法是---模型不 work?好吧,我们再给它更多数据,把模型再做大一点。我不认为扩大规模是答案。”(闻菲,“Stuart Russell专访:关于ChatGPT,更多数据和更多算力不能带来真正的智能”,微信公众号:“机器之心”,2023年2月20日)
“外意识”跨越从“了解”到“理解”这个鸿沟,可能需要当下主流认知之外的思路,而不是一味依赖扩大规模增加算力。人们总是对已经成功的主流手段有一种近乎迷信般的执着,但每一次关键的跨越常常都是在当下的主流认知之外。就好像这次在Hinton等人的长期顽强坚持下,基于暴力计算的统计方法出乎主流预料地担当起了实现第一个跨越的重任。近期Yann LeCun被众人攻击,便是因为他认为当下众人狂热追捧的自回归生成式大模型之路已经快到尽头,人工智能要继续发展应该走一条新路,这也是他正在进行的探索。持这种观点的学者并非只有他一个。
杰弗里·辛顿(Geoffrey Hinton)
人类执着地试图造出与自己有着同样智能的机器,或许根植于人类自己渴望为造物主的强烈愿望。暴力计算的出现让这个渴望显得比以往任何时候都更加具有可实现性。有一位国内的学者对当前拼命依靠算力来解决问题的局面写了一段有趣的评论:“目前这种状况下,这种领先是极其不保险的,因为说不定突然某一方祭出一个逆天的算法就会一下改变整个战局。如果这样往往很戏剧性,很悲壮,因为一方可能刚刚投入几千亿去扩充算力,谁知另一方倒腾出一个新的算法,竟可达到类似的效果却只需千分之一的算力。所以,未来几年会非常好玩。”
然而由于人工智能缺少理论基础,所以对于未来的所有判断也就都仅仅是一种猜测。最终只由实践或时间给出答案。
如果我们放开视野去观察就会发现或许还有另外一种可能。即“外意识”止步于人工智能的这个鸿沟边,不再狂热地模仿追赶人类已有的能力,转而以自己不同于人类的独特能力,大力创造自己与人类互补的价值,以此对人类的发展做出新的巨大贡献。毕竟在人类的历史上,有许多被认为理所当然而孜孜以求的目标,虽历经千年却依然渺茫,就是做不到,比如修炼成仙而长生不老。
02. “外意识”的感性与理性认知
在上一节的分析中我们看到,大语言模型通过对学习样本在文字符号层的统计分析确实形成了自己独特的统计性理解。那么这种理解的产物在模型中,或者说在这个“外意识”中,是以什么形态存在的?它是否能够直白地告诉我们、或者我们是否能够直观地看到它到底理解了什么、掌握了哪些知识?
由于以深度学习为代表的统计算法具有“不可解释性”,所以上述问题的答案是:不能。
如果将它与人类的意识活动做个有趣的对比的话,我们不难看出依靠深度学习的大语言模型理解和掌握的内容,可以说是以“外意识”的“感性认识”的形式存在的。
之所以将这种统计性理解形成的“认识”称之为“外意识”的“感性认识”,是因为它在算法中是以分散隐性的形态存在,没有形成显性的以文字符号为基础的形式化系统性表示。即它没有形成用文字符号表达的明确的知识,而是以参数+模型的形态存在,只有在使用时才能间接地感受到它的作用。
统计性理解形成的这种感性认识有其明显的局限。首先是不可传递性。因为没有作为显性的认知存在而无法被剥离出来。如果要传递,也只能是以参数+模型的整体方式进行;其次,无法对其做解析分析,不能从理性逻辑的角度去分析这种认识的合理性与正确性。这些特征与人类的感性认识都非常类似。
我们把人类的认识分为感性与理性,就是因为理性认识是可以用文字符号等形式化的方式清晰地表达出来的,而感性认识却做不到。个人的感性认识要想传递的话,基本只能自己亲自到场操作,这与参数+模型的方式本质是一样的。
在人类的发展过程中,从感性思维发展到理性思维能力,是人类进化的一个重要的里程碑。它让人类的知识从此有了可以超越个体生命的存在而持续不断积累提升的可能。在对事物的认识过程中,从感性认识上升到理性认识是非常重要的一步跨越。人类的知识积累、一代代人认知的不断深化,都依赖于理性认识。这也是近现代科学得以历经四百年而发展到今天这样辉煌的高度的必要基础之一。
对于人类自己大脑中的“内意识”是如此,那么对于人类创造的大脑外的“外意识”呢?把自己学习到的内容,用人类可以理解的显性方式呈现出来,让它变成“外意识”的理性认识,是不是未来机器学习需要走出的具有决定意义的一步?
显然,如果“外意识”能够做到这一步,将是一个质的飞跃。这将带来不可估量的影响,要比它像现在这样不明不白地又学会了一个新技能要重要的多得多。把“外意识”的这种感性认识变成理性认识会让我们对机器学习的方法有更深刻的理解,从而可以更有方向性地提升机器学习的能力,开发新的机器学习算法;也会让机器学习的结果在更多的方面起到更大的作用,成为人类知识宝库的重要补充来源之一;让人类的内外意识更加密切地融合在一起,进一步提升人类整体的智慧能力。
这是一个巨大的挑战。目前在人工智能领域内的许多研究工作,包括对机器学习的可解释性研究都与此密切相关,但一直没有实质性突破。
那么,“外意识”是否与人类的内意识一样,也是先有感性认识再有理性认识的?如果我们脱离目前基于统计的人工智能的视角,就很容易看到“外意识”走了一条很不相同的路。它是先有理性认识,然后才发展出感性认识的。
“外意识”从诞生之日起,一直非常“理性”,直到“暴力计算”的出现才打破了这个局面,让它开始变得“感性”起来。
自从计算机诞生直到这一轮人工智能热潮的兴起,“外意识”都是人类理性创造的产物。人类将自己的理性认识注入到“外意识”中,转化为它自身的逻辑,让其清晰地按照这种理性认识去完成各项任务。虽然这些理性认识不是“外意识”自己产生的,但是这种做法让“外意识”确实从人类那里获得了大量的对这个世界的理解,然后按照这些理解、按照人类的理性认识去循规蹈矩地劳作。即使在深度学习让“外意识”可以自己形成出人预料的各种“感性认识”之后,业界依然有一个说法:“有多少人的智能,就有多少人工智能”。显然这个时候人们依然认为人类注入到“外意识”中的理性认识依然是起决定作用的因素。
标签-
本文仅代表作者个人观点。
- 责任编辑: 史岱君
-
直通北部湾,中国打通西南出海新水道 评论 50
沙特关键输油管道遇袭,“预防性关闭” 评论 70
“我乐见爱尔兰统一”,英国:??? 评论 88
俄罗斯警告:在切尔诺贝利禁区,乌军有大动作 评论 55
1拼低工资?我认识好几个造船厂的管理者,太了解造船了评论 80 赞 52
2谁在阻碍中国人了解印度的饮食评论 78 赞 2
3粤语童谣纳入了人教版音乐课,让外省孩子们多学方言,这是文化自信的表现评论 56 赞 5
4胡塞武装势如破竹!美国力不从心,沙特危矣评论 39 赞 36
5张雪称儿子考60分就很好,并劝年轻人努力搬砖,如何看待他的观点?评论 32 赞 3
6中东战争给美国亚太盟友上了一堂地缘课评论 27 赞 5
7暴雨夜,两个壮汉当街拖走一个18岁女孩,谁在给“卖女儿”开绿灯?评论 23 赞 20
8初中没上完的发小相信大明统治了全世界评论 23 赞 0
9一次打坏12架战机!美空军基地遭伊朗导弹重击,伊朗导弹越打越准!评论 22 赞 19
10全世界把英语纳入基础教育的确实很普遍评论 19 赞 12最新闻 Hot-
“胡塞主动联系,希望美国‘不要介入’”
-
36年来首次!智利政府不举行阿连德纪念仪式
-
“瑞典民主党若首次入阁,将进一步呼应欧洲极右翼”
-
欧洲央行行长:当前通胀冲击将持续更长时间
-
“特朗普说给美国选民听的”
-
“小博索纳罗有份反华文件,背后藏着万斯的影子”
-
沙特关键输油管道遇袭,“预防性关闭”
-
乌方放风:正准备于10月恢复谈判,三方一起谈
-
法拉奇不到24小时吸金7200万英镑,“远超英国两大党”
-
“我乐见爱尔兰统一”,英国:???
-
俄罗斯警告:在切尔诺贝利禁区,乌军有大动作
-
离谱!特朗普:人类灭绝?我就担心中国…
-
“这是一次又一次的背叛”
-
911纪念仪式,穆斯林市长还是去了
-
“瑞典不得不服软,中国太硬”
-
日本前外相岩屋毅等将访华,“感谢中方接受”
-

观察员





上海市互联网违法与不良信息举报中心