当前位置:崇尚新闻网 > 国际 > 正文

dl站 从谷歌AutoML到百度EasyDL AI大生产时代 调参师不再是刚需

导语:头像|视觉中国付费下载 2018年,谷歌云宣布AutoML为机器学习产品的一部分。至此,AutoML开始进入大众的视野。 其实2013年AutoWEKA的发布可以算作AutoML的开始;2014年,ICML开始组织AutoML研讨会,AutoM

头像|视觉中国付费下载

2018年,谷歌云宣布AutoML为机器学习产品的一部分。至此,AutoML开始进入大众的视野。

其实2013年AutoWEKA的发布可以算作AutoML的开始;2014年,ICML开始组织AutoML研讨会,AutoML成为学术界研究热点之一;2018年,谷歌将AutoML商业化,业界开始充分关注。

AutoML到底是什么?AutoML能解决哪些问题?

其实AutoML的思想就是用AI来设计AI,把需要人工干预的环节,比如特征提取、模型选择、参数调整等自动化,这样机器学习模型就可以在没有人工干预的情况下应用。

谷歌CEO桑德尔·皮帅曾表示:谷歌希望简化用于设计机器学习模型的神经网络,从而降低ai的门槛。神经网络的设计极其耗时,其对专业知识的高要求将适用人群缩小到研究人员和工程师。这就是谷歌创建AutoML的原因,说明利用神经网络设计神经网络是可行的。谷歌希望AutoML能够具备现在一些医生具备的能力,让很多开发者能够在3~5年内通过AutoML设计出满足自己特定需求的神经网络。

因为AI人才极度匮乏,AutoML的初衷是降低AI开发者的门槛,帮助各行各业使用AI,让更多的AI应用落地。但是,AutoML只是针对AI落地中的某个特定环节,并不能真正解决AI落地的实际问题。

根据百度和波士顿咨询公司的联合研究报告,在业务场景下,约86%的市场需求需要定制AI模型。在模型定制过程中,企业用户和开发人员往往面临一些核心困难,如缺乏模型训练经验、数据收集和标注成本高、模型适配和部署过程复杂、模型优化迭代周期长等。,会导致整个项目成本高、周期长,前期无法准确预测项目效果。

因此,不仅需要降低算法调谐,还需要更换参数调节器。AI的大规模落地需要AI生产过程的全自动化,于是百度EasyDL应运而生。

从谷歌AutoML到百度EasyDL,自动化的不仅仅是模型设计

2017年11月,为了解决企业开发者面临AI转型压力的问题,EasyDL应运而生,百度成为国内首家推出零门槛深度学习平台的公司。

2018年4月,百度宣布EasyDL全面开放。基于百度飞桨在深度学习领域的深厚技术积累,EasyDL开始进入快车道。

作为百度大脑推出的零门槛AI开发平台,EasyDL支持各行各业有定制AI需求的企业用户和开发者。

EasyDL集成了百度自研的AutoDL技术,帮助模型在给定的数据集上自动调优,达到更好的效果。AutoDL包含自动增强、Auto Finetuner、NAS等自动建模技术,旨在自动进行模型调优,取得更好的效果,降低算法工程中模型调优的成本。

算法优化只是AI应用的一小部分。除此之外,EasyDL还通过技术手段尽可能降低了AI模型制作和应用全过程的成本。

一般来说,EasyDL具有以下技术优势:

一站式AI服务:EasyDL围绕AI服务开发提供端到端的一站式AI开发部署平台,包括数据上传、数据标注、训练任务配置和参数调整、模型效果评估和模型部署。

完善安全的数据服务:针对AI开发过程中开发者面临的数据痛点,EasyDL支持训练数据的高质量采集和高效标注,支持模型迭代过程中数据的持续扩展,有助于不断提升模型效果。包括软硬件一体化采集方案、自动数据清洗/扩展、智能标注、自动数据闭环等。模型开发所需的人工标注数据量减少了70%,数据收集效率从数周提高到数小时。

超高精度训练效果:基于百度超大规模数据训练的内置预训练模型,包括超大规模视觉预训练模型和文本预训练模型ERNIE。底层结合百度自研的AutoDL/AutoML技术,基于少量的数据就能得到效果和性能俱佳的模型。

端云结合灵活部署:基于EasyDL训练完成的模型可以发布为公有云API、设备端SDK、私有服务器部署、软硬件集成方案,可以灵活适应各种使用场景和运行环境。用户无需关注模型转换、适配加速、服务部署等细节。,并且可以获得可以直接运行和部署的映像以及可以进行二次开发的SDK。特别是设备端部署已经支持四大操作系统和15+芯片类型,广泛适配市场主流硬件设备。

简单只是外在的,专业可以帮助AI真正大规模落地

EasyDL通过优化AI生产全流程,大大降低了深度学习的应用门槛,让企业在不花费高额成本打造算法工程师团队的情况下,享受AI浪潮带来的红利。

百度的理念是通过先进的技术,让AI开发像使用家电一样简单,让用户在不了解家电内部结构和电路原理的情况下,享受家电带来的便利。

然而,越简单,越复杂。EasyDL也是如此。为了给用户提供易用的使用流程,EasyDL平台采用了许多复杂的深度学习算法和工程技术来保证应用效果。

1)数据处理

在很多场景中,数据采集和处理的难度是一大痛点,也是阻碍AI模型发展和应用的共性问题之一。今年5月,EasyDL新发布了EasyData智能数据服务平台,为数据采集、数据清洗、数据标注、数据回流提供一站式完整解决方案,帮助开发者高效获取AI开发所需的高质量数据。

在数据采集方面,易数据提供软硬件一体化、端云协同的自动数据采集方案。目前支持两种数据采集方式:接入摄像头采集图片和云服务返回数据。相机提供免费的本地采集SDK,可以支持各种硬件平台的自定义画框,采集图片并立即同步到EasyData管理。

在数据标注方面,易数据提供图片、文本、音频、视频四种数据格式的11个数据标注模板,提供最全面的智能标注方案。在目标检测、图像分割和文本分类三个任务场景中,百度自研的Hard Sample主动学习挖掘算法并进行针对性的自适应,在相同的模型效果指标下,可以减少70%的数据标注量。

2)模型训练

AI的工业应用场景非常分散。如何保证模型在各个场景中的效果达到较高水平,精度满足应用需求,也是一个很大的挑战。

目前EasyDL在这个方向上,一方面通过大规模的预训练模型,基于百度多年积累的海量数据和知识进行预训练,可以保证模型的泛化效果和普适性;另一方面,通过建立领域模型,为特定场景提供了适应性更好的算法模型。

视觉任务中,图像分类训练任务采用百度基于海量互联网数据的超大规模预训练模型构建,包括10万+分类和6500万图片训练,平均准确率可提升3.24%-7.73%;将百度基于800+标签、170万图片、1000万+检测帧的超大规模目标检测预训练模型内置到目标检测训练任务中,平均准确率可提升1.78%-4.53%。

在自然语言处理方向,EasyDL预设了百度开发的预训练模型的文本中心。据悉,文心在中英文16个任务上已经超越了行业最佳模式,完全适用于各种NLP应用场景。

目前大多数模型采用分布式训练。为了提高训练效率和加速比,EasyDL基于飞桨的DGC加速机制,通过只传输重要梯度来减少通信带宽的使用。在网络带宽有限的情况下,可以大大提高通信效率。与普通分布式训练相比,训练速度增益超过70%。

3)服务部署

所以对于开发者来说,简单的流程只是外在的,EasyDL的特长就是帮助AI大规模落地的秘诀。

AI的“引力”:每个人都可以做AI,让AI为每个人服务

据了解,目前使用EasyDL的用户数量已经超过70万,覆盖了安全、互联网、工业、农业、医疗、物流、零售、教育、科研等20多个行业场景。

随着AI技术的发展,各行各业对AI改造的需求呈爆炸式增长。目前AI赋能千行百业的愿景还处于起步阶段,AI往往被认为是一个需要大量投入的非常先进的技术领域,但实际上EasyDL正在颠覆这一点。

百度EasyDL平台在不断升级自身技术的同时,不断为AI赋能,为工业智能化转型提供更多创新动力。同时,EasyDL也在积极推进生态建设。比如9月底新推出的模型AI市场,通过基于平台的基础设施促进生态繁荣。

为了进一步降低企业AI应用的门槛和成本,EasyDL还推出了“引力”计划,为有AI应用需求的企业提供专项资金,帮助千家企业打造AI能力。

AI 的作用是相互的,只有人人做 AI,人人用 AI,才能最终实现AI for Everyone。

免责申明:以上内容属作者个人观点,版权归原作者所有,不代表崇尚新闻网立场!登载此文只为提供信息参考,并不用于任何商业目的。如有侵权或内容不符,请联系我们处理,谢谢合作!
当前文章地址:https://www.csxming.com/guoji/829320.html 感谢你把文章分享给有需要的朋友!
上一篇:李小璐的闺蜜 李小璐晒新闺蜜 但对方完全不搭理她 倒贴的样子又被网友群嘲 下一篇: 郑贵高铁 河南贵州将建新高铁 时速350公里 经过你家乡吗