本文作者:admin

丁宁:大模型的关键突破是“预训练”,效果超出想象

admin 08-26 1
丁宁:大模型的关键突破是“预训练”,效果超出想象摘要:   2023年亚布力论坛夏季高峰会于8月24日-27日在深圳召开。深圳市人工智能与机器人研究院常务副院长丁宁出席并演讲。  丁宁坦言,“大模型让人印象非常深刻”。在其看来,大模...

丁宁:大模型的关键突破是“预训练”,效果超出想象

  2023年亚布力论坛夏季高峰会于8月24日-27日在深圳召开。深圳市人工智能与机器人研究院常务副院长丁宁出席并演讲。

  丁宁坦言,“大模型让人印象非常深刻”。在其看来,大模型的关键突破是“预训练的步骤”。

  他解释说,以前机器学习是就问题本身学习相关数据,而“预训练”是先不学某个具体的问题,而是所有知识都要了解——构建一种世界的常识体系,把人的认知体系,包括物理和逻辑关系都搞清楚了,再来说解决具体问题,“它的效果一下子超出人的想象”。

  “这是大模型里面的一个比较关键的问题,通过预训练方法把常识体系构建起来”,他说。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

阅读
分享