249 弱小(4k)(第2/4页)
大的解放人类的双手,这一天大概很远,但就像今天的太白a“相较于上个月的它,已经又有进步。」
「ai会以一种让人惊叹的迭代速度进化,我们今天汇聚在这里也是为了寻找正确的发展方向。」
「a
i是在围棋领域赢了人类,但这不是人类智慧的终结,反而是人类智慧的延伸,是科技的又一次进步,也是对未来的又一次探索。」
方卓这种看法的表达还是赢来了不少掌声与直播间的好评。
对于许多人来说,这场热闹也就看到这里了,但对从业者、研发人员来说,真正的部分才刚刚开始,不论易科还是谷歌都在深度学习d领域有很深的研究,这种围棋对弈只是展露出的表象,内里的运转与思考才是更让人重视的。
吴恩达作为易科「ven」项目的负责人之一,与谷歌旗下公司的席尔瓦就d的模型逻辑进行了交流。
不管太白还是阿尔法,它们都是基于卷积神经网络的发展而来,这一基础是类似的,而它的突破源于2012年aex、iya和hton合作发表的关于aex深度卷积神经网络的论文,也正是在这之后,相关的研究出现了爆炸式的增长。
吴恩达与席尔瓦谈的是在aex之后的架构创新,是将传统的搜索算法与深度学习模型的有效整合,以及,整个团队在局部感受野、参数共享与稀疏连接、平移不变性这些方面做出的努力。
这种易科与谷歌以及场下嘉宾的交流极其愉快,也让方卓颇为满意,他虽然不懂,但瞧着这样的场面就觉得知识被塞进了脑子里。
只是,等到第二天,当吴恩达提出团队在研发上的困惑时,激烈的辩论到来了。
易科是有「siri」这样的语音助手作为人工智能的实践,而吴恩达的团队不仅在做卷积神经网络的研究,也在做循环神经网络rnn的研究,他们认为后者更适合与语音助手相结合,但效果并不算很好,完全达不到想要的成绩。
问题出在哪里
吴恩达表述了困惑,也谈了谈易科内部的解决方向。
参会的一部分人赞同易科的解题思路,但谷歌方面却出现了不同的声音。
「为什么非要使用循环神经网络」谷歌的乌思克尔特本来正在休假,但因为对d的交流感兴趣便报名过来,「为什么不试试自注意力sefattention我认为它对n领域将会有更优秀的改变。」
「sefattention可以进行更好的并行计算能力,而不是像rnn那样进行顺序处理,它还能直接比较序列中任意两个位置的向量表示,这样就能更有效的捕捉和利用长距离依赖关系,但rnn不行」
「rnn虽然理论上也能捕捉长距离依赖,但实际上往往因梯度消失或爆炸问题而难以实现」
乌思克尔特研究的是谷歌的机器翻译改进方法,他的父亲就是计算语言学的教授,尽管刚开始进入谷歌时对语言翻译的工作很不喜欢,但最终还是专注于这一领域的研究,而他近期正在琢磨的便是「自注意力sefattention」在相关领域的改善。
吴恩达很快明白这位谷歌研究员的意思,也在几经思索后给予反驳「自注意力没有显式地编码位置信息,这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异,而在自然语言的处理中,词语的语义又与位置紧密相关。」
「而且,
(本章未完,请翻页)