ml技巧 MIT韩松组推出升级版AutoML方法 一个网络适配所有硬件
国内万能的上帝，多么激动人心的一个词。人类总是追求一个普遍的解决方案，一劳永逸地解决所有问题。
事实上，随着人工智能不知不觉地进入生活和工作的方方面面，一个问题逐渐浮出水面。
首先，人工智能模型可以针对不同的硬件进行定制，从而达到非常好的性能。但是，电子产品基本上每年至少是新一代，而旧的硬件产品不会马上被淘汰。五年前，iPhone 6s还拥有大量用户，它与带神经网络加速器的iPhone X Max共存。
人工智能模型需要一个“通用模板”，可以自动适应不同的硬件，而不是针对不同的硬件手动定制。
目前流行的是手工设计或使用AutoML搜索特殊的神经网络，针对每种情况从头开始训练，这显然是不利的、昂贵的、麻烦的。
去年，MIT韩松团队提出了AutoML模型压缩，并利用强化学习提供模型压缩策略。
论文地址:
https://arxiv.org/pdf/1802.03494.pdf
这种基于学习的压缩策略优于传统的基于规则的压缩策略，具有更高的压缩比，在保持较好精度的同时节省了人力。
今年，韩松团队再次一劳永逸地提出了OFA，这是一种将模型训练与架构搜索分离的新方法，用于高效的神经网络设计，处理多种部署场景。
具体实现原理如下:首先，研究者将目标定义为获取网络的权重，使得每个子网仍然可以达到与独立训练的具有相同架构的网络相同的精度。
与现有网络相比，OFA网络实现了一项重大创新:它使AI直接搜索最佳子网成为可能，研究人员不需要为每个场景设计和训练模型。与ImageNet上最先进的AutoML方法相比，达到了相同或更高的水平精度，训练时间明显加快，支持空更大的搜索范围。
为了更有效地训练一个巨大的OFA网络，防止多个子网络之间的干扰，研究人员提出了一种渐进收缩算法，该算法可以训练一次网络支持10 19个以上的子网络，同时保持与独立训练网络相同的精度，从而节省非经常性的工程成本。
在各种硬件平台和效率极限上的大量实验表明，OFA总是获得与SOTA神经架构搜索方法相同的ImageNet精度。
值得注意的是，在处理多种部署场景时，OFA比NAS快几个数量级。在N=40时，OFA需要的GPU时间比ProxylessNAS少14倍，比FBNet少16倍，比MnasNet少1142倍。部署方案越多，对网络连接存储的节约就越多。
与大多数使用搜索算法寻找子网的自动学习方法不同，研究人员从OFA网络中随机选择子网子集来构建它们的准确度和延迟表。这使他们能够在给定特定硬件平台的情况下直接查找表以找到相应的子网。查找表的成本可以忽略，从而避免了其他方法中总成本的线性增加。
但所有“万能”产品都有一个共同的问题，那就是成本高，OFA的一次性培训成本是定制模式的12倍左右。然而，研究人员表示，这种高的一次性成本可以通过额外的部署方案来降低。
就像托尔金的巨作《指环王》中刻在至尊魔戒背面的铭文一样:“一枚戒指统治他们，一枚戒指找到他们，一枚戒指把他们都束缚在阴影所在的魔多的黑暗中。”
“一劳永逸”的网络会成为至高无上的网络吗？
论文地址:
https://arxiv.org/pdf/1908.09791.pdf