您当前的位置:首页 > 琴棋书画 > > 正文

图灵奖得主Bengio和LeCun:自监督学习可使AI达到人类智力水平

时间:2020-05-05 22:21:24   来源:东方头条   
更多

图片来源@全景视觉

文丨学术头条

在2020的ICLR线上大会上,蒙特利尔学习算法研究所主任、图灵奖得主Yoshua Bengio和Facebook 的副总裁兼首席人工智能科学家Yann LeCun,坦率地谈到了未来AI的研究趋势。

根据两位大咖的说法,自我监督学习可能使AI产生类人的推理能力。

自监督学习,像人一样自觉观察世界

监督式学习需要在有标注的数据集上训练AI模型,而 LeCun 认为随着自我监督学习的广泛应用,这种训练模式的作用将逐渐减弱。自监督学习算法不再依赖标注,而是通过揭示数据各部分之间的关系,从数据中生成标签。

自监督学习是一种机器学习的「理想状态」,重点在于如何自动生成数据标签,这一步骤被认为对于实现人类水平的智能至关重要。举一个例子,例如输入一张图片,把图片随机旋转一个角度,然后把旋转后的图片作为输入,随机旋转的角度作为标签。

很多网友比较关注的一个问题是,自监督学习和无监督学习是一个意思吗?

自监督类似无监督学习,都是从没有明确标签的数据中进行学习。但无监督学习侧重于学习数据的内在关系、结构,比如clustering、grouping、density estimation, or anomaly detection等等,而自监督是根据数据集本身生成标签。

为了进一步解释自监督学习,LeCun做了类比,「不管是我们人类,还是动物,在学习大多数事物时,都是在自我监督的模式下进行的,而不是强化学习模式。这个模式本质上就是观察这个世界,然后不断与之增进互动,这种观察是自发的,而不是在测试条件下完成的。」LeCun表示, 「这种学习方式,比较难以用机器来复制。」

其中,不确定性是阻碍自监督学习成功的主要障碍。

连续分布和离散分布

数据的分布是这样一个表,它将变量所有可能的值与其出现的概率联系起来。在变量是离散的情况下,它们可以很好地表示不确定性,这就是为什么像Google BERT这样的架构如此成功。但目前,研究人员尚未找到一种方法来有效地表示连续变量的分布。

在斯坦福对话问答数据集上测试时,BERT 实现了93.2% 的准确率,分别优于最先进的机器学习水平和人类水平 。斯坦福问答数据集是一个阅读理解的数据集,包含了一组维基百科文章中提出的问题。在通用语言理解评估基准测试(一个用于培训和评估NLP系统的资源集合上,BERT的准确率达到了80.4% 。

解决连续分布问题

LeCun认为,找到一种能表示连续分布的模型,就会有新突破。

Lecun 指出,连续分布问题的一个解决方案是利用基于能量的模型(EBM),它能够学习数据集中的数学元素,并生成类似的数据集。

此前,OpenAI开发了一种基于能量的模型,可以快速学会识别和生成概念,例如附近,上,中,最近和最远等,并表示为2D点集。模型仅在五次演示后学习了这些概念。

从过去的研究中看,这种形式的建模一直难以应用到实际当中,但Open AI 2019年的研究表明,这种基于能量的模型可以支持复杂的拓扑(topologies)。

Bengio 在研讨中表示,他相信人工智能研究可以从神经科学领域受益颇多,特别是意识和意识处理的探索方面。当然收益也是双向的,一些神经科学家正在使用卷积神经网络作为视觉系统的腹侧通路。

Bengio预测,新的研究将阐明高级语义变量与大脑如何处理信息(包括视觉信息)之间的关系。而这些变量是人类语言交流所用的,它们可能会衍生出新一代的深度学习模型。

「通过与基础语言学习相结合,我们可以取得很多进展,归根结底我们都在打造能够理解这个世界的模型,以及高层次的概念是如何相互关联的。这是一种联合式的分布,」Bengio 说。「我相信,人类的意识处理过程,利用的是有关世界如何变化的假设,这些假设可以理解成为一种更高层次的表达方式。简单来讲,就是我们看到世界的变化,然后想到一句话来解释这种变化。」

达到人类智力的另一难题:背景知识

想要实现人类智力,另一大难题就是背景知识。正如 LeCun 所解释的,大多数人可以在30小时内学会驾驶汽车,因为他们已经凭借直觉构建了一个关于汽车行动方式的物理模型。相比之下,现在无人驾驶汽车所采用的强化学习模型要从零开始学起---- 他们必须犯上成千上万次的错误,才能做出正确的操作。

LeCun表示,「显然,我们需要能够构建模型来学习世界,这就是进行自监督学习的原因——运行预测世界模型,能够让系统进行更快地学习。从概念上讲,这相当简单,除非是在那些我们无法完全预测的不确定环境中。」

LeCun 认为,想要实现通用人工智能(AGI),就算有自监督学习和神经科学学习的加持,也是不够的。

通用人工智能(AGI )是指机器获得人类水平的智能。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。

他表示,这是因为智力,尤其是人类的智力,是非常特殊的。「AGI 是不存在的,根本没有通用人工智能这回事。我们可以谈论老鼠水平的智力、猫的智力、狗的智力,或者人类的智力,但还根本谈不上通用人工智能。」LeCun说。

但是Bengio相信机器最终将习得关于这个世界的各种知识,这个过程不需要机器去亲身体验,而是通过习得可以语言化的知识来实现。

「我认为这也是人类的一个巨大优势,相比于其他动物来说,」他说。「我认为,人类之所以聪明,是因为我们有我们自己的文化,让我们能够解决这个世界的问题。要想让人工智能在现实世界中发挥作用,我们需要它不仅仅是能够翻译的机器,而是能够真正理解自然语言的机器。」

自监督学习是AI的未来

自监督学习背后的核心想法,是开发一种深度学习系统,可以通过学习填补AI未知的领域。

LeCun曾在今年四月份AAAI会议演讲中谈到,「我认为自监督学习是AI的未来。这将使我们的AI系统,深度学习系统更上一层楼,或许AI可以通过观察获取有关世界足够多的背景知识,从而形成一些基本常识。」

自我监督学习的主要好处之一是AI能够主动输出巨大的信息量。在强化学习中,训练AI系统是在标量级别执行的,模型会收到一个数值作为对其行为的奖励或惩罚。在监督学习中,AI系统为每个输入结果预测类别或数值。

在自监督学习中,输出结果将涉及到整个图像或是一组图像,「自监督学习输出的信息量很大。要让AI学习相同量的有关世界的知识,自监督学习需要的样本量也更少。」 LeCun说。

我们必须弄清楚不确定性问题是如何运作的,当寻到解决方案时,我们将会解锁AI未来的关键。

LeCun说,「如果说人工智能是一块蛋糕,那么自监督学习就是其中最大的一块。」