观察者网：能不能具体讲一下紫东太初这个多模态大模型以音声图、以图生音的应用案例？

徐波：以图生音为例。可以不经过文本，直接在一个共通语义空间做转换，就是语义到语音的直接合成。以音生图，它不是先识别语音，再做文本的检索，而是直接在一个语义空间里面把这个声音转换成图像。所以我们为什么说这个是通用人工智能路径的探索，就是通过图文音三个模态固化出一个人类非常模糊但是非常有用，只是不知道人类大脑是怎么表达的一个语义空间的表征。

除此之外，我们还可以给出一个多模态大模型的互动演示，涉及到很多的语音识别，语音合成，包括对图像的描述，中文的续写等等，通过语义空间直接的转换来完成。

这一系列的展示，是非常类人的多模态交互。它可以任意输入语音、图像或者文字，去输出语音，图像和文字的任意一种，真正实现三个模态之间的关联跟协同。它们中间就是我们讲的“统一的语义空间”。

这里主要表达三个观点，一是大数据+大模型+多模态，将改变当前单一模型与单一任务人工智能的研发模式，多模态大模型将成为不同领域的共性平台技术。

其次，在目前的研究当中，有一种惯性思维是做人工智能都要用大数据，而当知识与数据混合驱动，增强模型的可信、可理解能力后，我相信随着这些技术的发展，人工智能学习对有标注的数据的依赖性会越来越小。

此外，国产化通用人工智能具有很高的技术门槛，需要大量的资金与数据的支撑，将使得人工智能的研究规则发生重大变革，对我国实现人工智能领域科技创新，占领核心技术高地具有重要战略意义。以图生音，以音生图，效果甚至出乎我们自己的想象，这也带给我们一项启发，让我们对未来的人工智能又增加的无穷的想象力。

所以，多模态大模型人工智能值得我们进一步去探索，值得我们进一步探索更巧结构、更大规模、更强理解能力的模型以及相应的评估标准，也值得我们把这样的技术跟产业需求更好的结合起来。

再举一些生活化的例子。比如说，利用大模型可以实现欧洲杯转播的人工智能自动解说；在影视拍摄领域，可以根据剧本的文字自动生成画面和场景，供导演再加工；在教育领域可以根据语义内涵，自动生成画面和声音、甚至生成全新的音乐（而非在既有乐库中选取），类似实现妈妈给孩子讲故事等功能，让人工智能具备初步的想象力和艺术创作力。其实这与人类大脑工作机制是比较类似的。

观察者网：紫东太初能够快速面世，主要原因都有哪些？

徐波：这涉及到多方面的原因。

首先，主要得益于非常强大的基础研究能力。通过多模态实现更加强大的人工智能一直是我们的梦想。从去年开始，在各研究团队单模态大模型取得阶段性成果基础上，我们组织所内优势力量联合投入开始多模态攻关；第二，我们以中国自主的昇腾人工智能基础软硬件平台为基础，运用包括昇腾芯片和全场景人工智能计算框架MindSpore来打造多模态通用人工智能平台，通过对外交流合作大大加速了这个过程。

目前平台具备了三大关键技术（多模态理解与生成的多任务统一建模、面向国产化软硬件的高效训练与部署、多模态预训练模型架构设计与优化），和六项核心能力（多模态统一表示与语义关联、跨模态内容转化与生成、预训练模型网络架构设计、标注受限自监督模型学习、模型适配与分布式训练、模型轻量化与推理加速）。

在这里，要纠正一个误区。模型并不是越大越好，大模型出来以后怎么做轻量化和推理的加速，是攻关的重要方向之一。目前的图文音三模态大模型，与单模态和图-文两模态相比，可以支撑全场景的人工智能应用，包括像视频配音、语音播放、标题摘要、海报制作、跨模态检索、图像生成等等。

此外，三模态大模型跟国产软硬件的技术合作非常关键。未来人工智能将成为人类社会的基础设施，就像现在的水、电、煤一样，必须实现此类技术的自主可控。目前，国内已经具备全栈式基础软硬件条件能力，要做到“从可以用”到“很好用”的成熟生态，需要多方一起合作。

观察者网：作为人工智能领域的国家队，中科院自动化研究所多模态大模型是如何布局的？

徐波：中科院自动化研究所以打造新时代智能科学与技术战略科技力量作为己任，拥有模式识别国家重点实验室、复杂系统管理与控制国家重点实验室两个人工智能研究平台。依托这两个国家级平台，已经在机器学习、图像与视频、语音与语言、智能机器人、智慧医疗、社会计算等领域取得了丰富的研究成果，获得多项国家级的奖项。

我们一直在探索更强大的人工智能，通过多模态实现更加通用的人工智能是其中一条研究主线。通用智能不同于强人工智能，但它至少应该适应不同的环境和任务迁移。我们在已有语音、图像、视频、文本等单模态研究基础上，重点在多模态学习基础理论、多模态语义统一表示、大规模训练平台、多模态数据以及评估标准等方面进行多团队联合攻关。

同时我们不断加强对外合作交流。我们通过跟华为昇腾以及武汉人工智能计算中心的合作，最终使多模态大模型得以问世。通用人工智能之路需要不断探索，而不是坐而论道。只有真正做出一些阶段性成果才能对技术发展路线有更加清晰的认识，也能对未来人工智能的发展有更加清晰的认知。

观察者网：你们在研究多模态大模型的时候有没有考虑到AI的产业化和普惠性的问题？

徐波：这个问题仍然需要进一步探讨。现在市场上有大量的音视频处理需求，确实跟我们的多模态信息处理能力很契合。“紫东太初”刚刚诞生，在有些场景下已经开始使用。下一步，我们准备继续优化这个平台，按照节奏规划对外开放。同时，我们将把更多的精力聚焦在多模态大模型上面，把它做得更准确，效率更高、能耗更低。这将为现在的人工智能研发模式和产学研转化模式带来巨大变化。

观察者网：最后一个问题，为什么说研究跨模态人工智能平台是通用人工智能路径的探索？

徐波：通用人工智能大家都比较关心，因为它将对现有的人工智能研发范式起颠覆性影响。但是，什么是通用人工智能？是不是就是强人工智能？是不是就是跟人一样的人工智能？这些都还没有特别明确的定义。但是业内普遍认为，通用人工智能要有一种“泛化能力”，一定要用较少的代价去完成多任务的迁移执行。

通用人工智能一直是技术界的一个梦想，不同的专家都在从不同的路径去探索。有的人希望通过复制人脑或者受脑启发去实现通用人工智能；DeepMind是希望通过进化博弈的方法，最终走向通用人工智能；预训练大模型则是基于数据自监督学习的智能探索。不同路径解决的阶段性问题各有侧重，但最终一定会融合。目前走在最前面的还是多模态大模型，“紫东太初”是最新的尝试，尤其是语义空间的表征突破，会对人工智能实现通用化带来非常大的变化。

无疑这扇大门正在打开。

本文系观察者网独家稿件，文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。