让AI自己调整超参数，谷歌大脑新优化器火了，自适应类似任务

萧箫 发自 凹非寺量子场论位 | 公众号 QbitAI

还在愧疚怎么给最佳化筒修正更高的匹配吗？

今日，Google公司大脑搞了一个新的最佳化筒VeLO，无需手动修正任何的大匹配，直接用就放事了。

与其他人工所设计的如Adam、AdaGrad等算法多种不同，VeLO无论如何基于AI构造，能够很好地适应各种多种不同的特殊任务。

当然，效用也更高。科学论文创作者之一Lucas Beyer将VeLO与其他“重度”调参的最佳化筒进行了对比，安全性不相上下：

有网友想到了一丝最佳化筒退步的曙光：

在Adam之后出现了不少最佳化筒，却都表现得极其失败。这个最佳化筒某种程度不太可能能表现更高。

所以，这个基于AI的最佳化筒是如何打造的？

VeLO究竟是怎么打造的？

在特训信息处理服务的过程中，最佳化筒（optimizer）是必不可少的一部分。

△信息处理服务特训过程，图源Thomas Wolf

但AI基本概念应用都这么广为了，特训AI基本概念用的最佳化筒却仍然是人工所设计的，听起来多少却是不当。

于是Google公司大脑的分析人员灵机一动：为何要用AI来来作一个最佳化筒呢？

所设计上，最佳化筒的物理现象基于元求学的思路，即从相关特殊任务上求学经验，来帮助求学目标特殊任务。

相对迁往求学，元求学更忽略获取元基础知识，它是一类特殊任务上的CE基础知识，可以被泛化到更多特殊任务刚才。

基于这一思想，VeLO也就会吸收分量并操作者可用匹配新版本，无需任何的大匹配调优，并自适应需要最佳化的各种特殊任务。

架构上，AI最佳化筒整体由LSTM（长短期记忆网络服务）和的大网络服务MLP（多层感知机）相关联。

其中每个LSTM负责设置多个MLP的匹配，各个LSTM彼此之间则通过全局语义信息进行相互协作。

特训上，AI最佳化筒换用元特训的方式为，以匹配值和分量作为可用，可用需要新版本的匹配。

经过4000个TPU月（一块TPU开始运行4000个月的推算量）的特训，集各种最佳化特殊任务之所长后，VeLO终于横空出世。

比人工调参最佳化筒效用更高

试验中，VeLO在83个特殊任务上的减慢效用的大过了一系列举例来说仅有的最佳化筒。

其中y轴是相对Adam减慢的倍所部，x轴是特殊任务的比例。

结果显示，VeLO不仅比无需修正的大匹配的最佳化筒效用更高，甚至比仔细修正过的大匹配的一些最佳化筒效用还好：

与“经典恶棍”Adam相对，VeLO在所有特殊任务上特训减慢都更短时间，其中50%以上的特殊任务比修正求学所部的Adam短时间4倍以上，14%以上的特殊任务中，VeLO求学所部甚至短时间上16倍。

而在6类求学特殊任务（数据集+对应基本概念）的最佳化效用上，VeLO在其中5类特殊任务上表现效用都与Adam相当甚至更高：

值得一提的是，这次VeLO也被部署在JAX中，或许Google公司是真的很有鉴于这个新方法论了。

巴尼，也有网友视为费时4000个TPU月来特训VeLO，推算量成本过大：

虽然这个困难重重很重要，但它甚至都短时间赶上GPT-3的特训量了。

目前VeLO已经自由软件，感兴趣的小某一天可以去再来这个新的AI最佳化筒。

One More Thing

前段时间，一位耶鲁博士生提了个有意思的想法，得到不少人表示同意：

更多科学论文的创作者们也应该像演职员表一样，未公开自己在科学论文中的工作细节。

Kareem Carr是生物统计学领域的博士生，创作者功绩在生物科学论文中比较罕见，不过之前在AI科学论文中见得不多。

今日，这篇Google公司大脑科学论文的创作者们也这样来作了，谁读到的科学论文、谁搭建的方法论一目了然：

不知道日后就会不就会成为机筒求学圈的新风气（手动狗头）。

GitHub定址：_optimization/tree/main/learned_optimization/research/general_lopt

科学论文定址：

参照镜像：[1]_harrison/status/1593422054971174912[2]#afeb[3]

— 放 —

量子场论位 QbitAI · 头条号签约

南京哪家医院做人流好
石家庄男科医院哪家正规
腰椎病用什么药治疗好
拉肚子能吃什么
贵阳风湿检查