文汇报：您一定关注到，最近麻省理工获得捐赠，筹建计算与人工智能学院。捐赠者苏世民先生说，选择麻省理工，是因为它“专业知识和价值观都适于担任AI的‘真北’（true north）”，而新“学院对道德的关注至关重要，因为……AI改变社会结构的力量越来越大。如果不加控制，这些技术最终可能伤害人类。”

冯象：我太太是校友，收到了校长关于建院的信。校长也非常强调，前沿科技须有价值观的指导同伦理约束。他说，人工智能有几个难题，一是懂的人太少。即使在麻省理工，90%的人也所知甚少，更别说公众和政客了。第二，AI技术的社会风险极大，亟需推动人机伦理研究，探讨规制的理论与方法。第三，至少迄今为止，AI加剧了贫富分化，使得大量资源集中到一小撮人手里。

我们可以补充一点：AI技术因为广泛用于日常生活，并迅速军事化，受市场机制的激励，很容易价格“白菜化”。一旦做成廉价商品，就更难有效管制了，不论订立多少部法规、国际条约。这方面不乏前车之鉴，但在资本主义市场经济的条件下，前景不容乐观。

文汇报：人工智能的发展令我们的生活发生这么深刻的变革，会不会推翻“理性人假设”等西方经济学、法学的基础理论呢？

冯象：“理性人”或“经济理性人”（恩格斯管他叫“英国人”）假设，是资本主义正当化叙事的文宣重点，有年头了。在中国亦不例外。我总觉得，这假设跟19世纪市场资本主义处于“初级阶段”、司法技术和侦察/监控手段不甚发达有关。假说扮作公理，即可把许多疑难问题、无法或不便处理的纠纷等等，挡在政法制度的门外；从而使司法程序复杂化，增加诉讼成本，遮掩实质规范所保护的资本利益和特权。

理性只是人这个物种的众多能力之一。以生物学心理学观之，人若是想修炼成一个“经济理性人”，太难了。否则发财当资本家，何须“新教伦理”呢？还是文学家艺术家敏感，他们很善于描绘人不那么理性的一面。尤其进入资本主义时代，几乎所有伟大的文艺作品，都是对“理性人”的批判、嘲讽或厌弃。

所谓零隐私的人，也即硬规则之子；他心底的欲望和阴影、一闪而过的念头，全在“天眼”关照之下。理性人假设对于司法，犹如对于市场营销网络诈骗，基本是多余的了。也许经济学、法学用作文宣，“理论滞后”有别的考量？

当机器人获得独立的自我意识，人机关系会变得复杂

文汇报：西方世界有奴隶制的传统，是否也反映在他们对机器人的态度上呢？我的意思是，雅典民主是建立在保有奴隶的基础上的，因为大量使用奴隶劳动，自由民才有时间精力参与城邦政治。资本主义兴起后，承担这一角色的是殖民地人民和黑奴；到了全球化时代，则是第三世界的打工仔。今天AI兴起，假想的对象变成了机器人。但是否有可能，这对主奴关系发生反转……

冯象：学界讨论人机伦理，例如阿西莫夫三定律，往往隐含一个前提：主奴关系。可是总有一天，机器的才智会远超人类，主奴关系就维持不了了。

其实，只要机器获得独立的自我意识，即便毫无当人类主子的意愿，人机关系（对于人类）也会变得异常复杂。

常有论者不信AI会发展出自我意识。然而在AI学界，明斯基他们早已确认了这一可能。而机器一旦演进到能够区分人我、自我保护、自我复制（即繁衍）的水平，就不能把它看成是一个没有自我意识而被设定为人类仆役的物品，或一件聪明的工具。

相反，机器将学会做道德价值判断，会追求并维护自身利益，还会有自尊心，有自己的朋友圈，乃至爱欲嫉恨等各样感情。

那时，它将如何看待我们？注意，AI的自我意识演进是不可逆的；我们无法逆转历史，“穿越”亦非明智的选项。

所以明斯基说，他很幸运，这辈子不用面对这一困难选择。但也有学者认为，他的“感知器”（Perceptrons）理论“误导”了学界，是机器学习和神经网络研究在上世纪70年代陷于停顿的罪魁祸首。或许我们需要一位新的明斯基，就是以他的权威和洞见，劝喻人类放慢脚步，不妨再过一个漫长的“AI冬天”；以便我们能有充裕的时间做好准备，全面规划，与AI携手（见利求同《隐私的未来》，载《文化纵横》6/2018）。这样留有余地，也许风险会小些。

文汇报：最后，冯先生，如果让您开一门新课，“人工智能与人类未来”，您会挂出一份怎样的课前阅读/视觉材料呢？

冯象：这些内容，我们课上每年都讨论的。不过我只讲七八本书，玛丽·雪莱的《弗兰肯斯坦》，歌德《浮士德》，马列经典同中国革命文献，包括回忆录和年谱。并由此上溯西方宗教的乌托邦传统，如耶稣运动的穷人福音纲领等等。

论文选题及相关材料，我总是让学生自己找，因为多数是研究生选修，也有三五个优秀的本科生。他们往往想法很好，但不知如何着手。因此特别需要鼓励，去接触社会现实。无论电竞、手游的流行文化/异端生成机制，还是下工厂农村调研，和农民工姐妹一起站到流水线上，经受硬规则的盘剥，都是那“已经来到”的“未来”的一个征兆。目的是给他们一个锻炼机会，摆脱教条主义，反思旧法治衰亡之际，主奴关系的根源。

这一代年轻人大学生，焦虑迷惘的不少。我希望，探索人机伦理能够帮助同学们找到人生的方向，从而当机器换人全面铺开之日，能够把阅读与思考化为行动的勇气。

（本报记者 李纯一 见习记者 陈瑜）