丁宁：大模型的关键突破是“预训练”，效果超出想象内容是什么

　　2023年亚布力论坛夏季高峰会于8月24日-27日在深圳召开。深圳市人工智能与机器人研究院常务副院长丁宁出席并演讲。

　　丁宁坦言，“大模型让人印象非常深刻”。在其看来，大模型的关键突破是“预训练的步骤”。

　　他解释说，以前机器学习是就问题本身学习相关数据，而“预训练”是先不学某个具体的问题，而是所有知识都要了解——构建一种世界的常识体系，把人的认知体系，包括物理和逻辑关系都搞清楚了，再来说解决具体问题，“它的效果一下子超出人的想象”。

　　“这是大模型里面的一个比较关键的问题，通过预训练方法把常识体系构建起来”，他说。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。