你的位置:澳门网 > 技术专栏 >

专栏 自动选模型+调参:谷歌AutoML背后的技术解析

2018-11-07 11:52 点击:

  原标题:专栏 自动选模型+调参:谷歌AutoML背后的技术解析 机器之心专栏 作者:huicha

  AutoML 是 Google 最新的产品,能够根据问题自动确定最优参数和网络结构。本文章就关注解析 AutoML 背后的技术,由于 AutoML 缺乏技术文档,我们的解析有不到之处,还请多多更正。

  罗马不是一天建成的。AutoML 并非一蹴而就,而是 Google 的研究者在过去几年不断思考中产生的理论与实践结合的完美产物。下图是 Google 的 AutoML 探索之路。

  Alexnet 在 IMAGENET 取得冠军之后,Google 意识到了深度学习是未来的趋势,于是投入巨资进行神经网络的研究。从 Deepmind 被收购,Hinton 加入 Google,Tensorflow 的开源中可见 Google 对于 Deep Learning 的重视与远见。Google 在不断的调参数中发现了著名的 Inception 网络,并且结合 ReNet,发现了 Inception-ResNet,V4 和 Xception。这些发现让 Google 注意到了神经网络结构会对结构产生巨大影响,但是找到最优的结构需要耗费大量的人力和物力,并且对于一个新的数据集还需要投入同样的资源搜索合适的结构,这样的人工搜索是不能够 scalable 的。Inception-ResNet 的网络结构请参考论文:。Inception 系列网络跟 ResNet 的结果比较。

  Barret Zoph 使用强化学习进行网络结构搜索,网络框架图如下图:

  本篇论文能够避免手动调参数,但是得到网络搜索需要 800GPU 搜索几个月的时间,最近 Google 使用 P100 可以在一周左右训练出模型,本论文仅仅在 CIFAR 上面进行实验,在大规模数据集 IMAGENET 上面的使用受限。

  本篇论文通过 large scale evolution 的办法来搜索最优的神经网络,由于本人能力有限,我们不对这篇论文进行技术解析。该论文的结构搜索过程如下图:

  与之前的方法不同,本篇论文是在一个网络的基础上面加上新的 cell,然后使用类似与 A*搜索(Branch and Bound)的办法,搜索到最优的网络结构。Progressive 方法示意图如下:

  本篇论文是集大成者,Barret Zoph 在之前全部技术的基础上面,成功地将自动结构搜索在 IMAEGNET,COCO 等实用性的物体分类和检测任务上面成功运用。结果太 AMAZING 啦。竟然超过了 ResNet-FPN,COCO 物体检测结果如下:

  ✄------------------------------------------------