亚马逊内部的机器学习培训课程将免费对外开放

by admin on 2020年3月14日

Amazon
今日宣布免费开放其内部用于培训工程师的机器学习课程。

亚马逊今天宣布,将免费对外开放该公司培训工程师的机器学习课程。系列课程主要是针对开发人员、数据科学家、数据平台工程师、商业专业人士四类身份的民众所量身定制,内容则囊括了自基础到艰深的范畴。Amazon
在公告中也表示,每门课程都会从基础知识开始,并透过现实范例或研究室操作,让参与学习的开发人员能亲身体验亚马逊曾解决过的有趣问题,探索机器学习的相关知识。此外,在高品质的课程中,也将教授如何运用各种
AWS 的机械学习服务,包含 Amazon SageMaker、AWS DeepLens、Amazon
Rekognition、Amazon Lex、Amazon Polly 和 Amazon
Comprehend。目前亚马逊共提供了 30 门课程,总计超过 45
个小时,并包含有原先用于训练内部员工的视频、实验和相关的文档。除了提供免费课程,亚马逊也提供了认证考试,但是要参加则需缴交
300 美元的费用。由于该认证仍处于测试阶段,目前暂时只需一半的费用喔。

一家创业公司面临的挑战

图片 1

“在大宇无限的产品中实现视频内容的在线推荐,对我们的开发团队来说是一个巨大的挑战,Amazon
SageMaker极大地简化了机器学习系统的构建、训练和部署流程,使我们仅用了3个月就完成了整个系统的建设并承受了实际用户访问的压力,实现了从0到1的突破。”谈起与AWS的合作,大宇无限技术副总裁刘克东如是说道。

该课程基于 AWS 的各种机器学习服务,包括 Amazon SageMaker、AWS
DeepLens、Amazon Rekognition、Amazon Lex、Amazon Polly 与 Amazon
Comprehend,面向开发人员、数据科学家、数据平台工程师和商务专业人士提供包含超过
30 个可自定义进度的在线课程、时长超过 45
小时的视频和实验。每门课程都从基础知识入手,并以现实世界的示例和实验为基础,允许开发人员通过亚马逊必须解决的一些现实问题来探索机器学习。

深圳大宇无限科技有限公司(以下简称“大宇无限”)是一家专注于移动互联网应用的创业公司,2016年初成立,团队主要成员来自北京大学、香港科技大学、UCLA、Emory
等国内外知名高校,具有一流互联网公司从业背景。大宇无限每月为全球超过1亿的用户提供服务。

AWS
表示,这一举措是对客户“如何加速团队中机器学习技能发展?”这一疑问的回答。

作为一家创业公司,大宇无限主要业务面向中东、东南亚、拉美等新兴市场国家,移动短视频服务是公司的主要业务方向之一。在成立之初,大宇无限的首要目标是开拓新业务并实现业务的快速增长,要实现这一目标,大宇无限需要应对一系列挑战。

一同开放的还有一个新的 AWS 资格认证:AWS Certified Machine Learning –
Specialty。

首先要解决的是开发人员数量少与快速起步之间的矛盾。移动短视频服务包含在线视频推荐服务,需要构建机器学习系统,从设计架构、建立训练模型、选择算法和框架到最终部署到生产系统中,整个流程极为复杂,需要大量的开发人员耗费很长的时间才有可能完成。

(文/开源中国)    

其次是大宇无限的主要业务市场位于中东、东南亚与拉美,必须采用能够覆盖整个目标市场并提供稳定的网络访问的云平台。

第三是要尽量减轻整个系统运维管理的负担,降低系统的总体成本。

为了应对这些挑战,大宇无限在分析、比较了主流的云平台之后,选择了AWS,将整个业务系统部署在AWS云上,借助AWS云在机器学习领域的一系列云服务,快速完成了整个系统的开发和部署,实现了快速起步、为用户提供高质量短视频服务的目标。

图片 2

为什么大宇无限选择了AWS

AWS云提供了很多业界认可的应用开发及部署服务、具有全球化的布局且提供多种计费方式,这些特点非常适合大宇无限对IT基础设施的要求。大宇无限的主打业务是基于人工智能的短视频分发系统,为了给用户提供良好体验,它需要解决两个重要问题:其一是根据用户的个人喜好进行视频的在线推荐;其二是过滤掉不当视频。完成这两项任务都需要开发人员具有深厚的机器学习专业技能,AWS云提供的Amazon
SageMaker和Amazon
Rekognition服务,极大地简化了大规模构建、训练和部署机器学习的流程,使大宇无限的开发团队能够快速实现这两项重要功能。

Amazon
SageMaker是一个完全托管的服务,可以帮助开发人员和数据科学家快速而轻松地构建、训练和部署机器学习模型。一方面,Amazon
SageMaker
可快速连接至训练数据所需的内容,使用户可以轻松构建机器学习模型并为训练做好准备;另一方面,Amazon
SageMaker预装并优化了常用的机器学习算法,这使得用户无需花费大量时间去选择算法和框架。在进行训练时,用户只需单击一下,就可以在Amazon
SageMaker控制台中开始训练自己的模型。当模型经过训练和调整后,Amazon
SageMaker可以轻松地在生产环境中进行部署。“线上推荐我们是白手起家,如果没有Amazon
SageMaker,我们需要花费半年的时间才能完成。有了它,我们无需构建基础设施,只需要算法工程师去驱动,为Amazon
SageMaker准备数据,仅用了三个月的时间就完成了整个系统的建设并承受了实际用户访问的压力,实现了从0到1的突破。”刘克东说道。

在过滤不当视频方面,Amazon Rekognition发挥了至关重要的作用。Amazon
Rekognition是基于Amazon计算机视觉科学家开发的成熟且高度可扩展的深度学习技术,每天可分析数十亿图像和视频,无需使用任何机器学习专业技能,只需要向Amazon
Rekognition
API提供图像或视频,它就可以快速识别对象、人员、文字、场景和活动,检测出任何不适宜的内容。Amazon
Rekognition还不断接受新数据的训练以扩展其识别对象、场景和活动能力,从而提高准确识别的能力。借助Amazon
Rekognition,大宇无限的视频供给及审核系统方便地实现了视频内容事前审核功能,可以自动筛选出大约97%的不当视频。“如果没有Amazon
Rekognition服务,要想实现视频内容的上线前审核功能需要投入大量的人力,造成运营成本上升。”刘克东表示。

图片 3

全部业务系统实现上云

目前,大宇无限的全部业务系统都部署在AWS云上,主要包括三部分内容。

其一是线上服务,用于支撑公司所有产品的多端(Android/IOS/Web)发送的服务请求,包括用户中心、信息流视频推荐、频道推荐、关注列表、视频解析、分享短链、消息推送及升级服务等;

其二是大数据系统,用于搜集客户端的行为数据,为数据分析及推荐系统提供原始数据,日处理行为事件达数十亿;

其三是视频推荐系统,采用Amazon EMR和Amazon
SageMaker处理数据、训练模型以获得个性化的推荐结果,同时还使用Amazon
Rekognition每日自动审核数十万的新视频封面。

大宇无限所使用的AWS云服务,包括Amazon Elastic Compute Cloud(Amazon
EC2)、Amazon Simple Storage Service(Amazon S3)、Amazon
Rekognition、Amazon SageMaker、Amazon EMR、Amazon CloudWatch、Amazon
DynamoDB、Amazon Relational Database Service(Amazon RDS)、Amazon
RedShift、Amazon Kinesis、Amazon Elastic Container Registry(Amazon
ECR)、AWS Data Transfer以及AWS
Support等。以下是大宇无限使用AWS云的架构示意图。

图片 4

大宇无限使用AWS云的架构示意图

使用AWS云服务后的成效

使用亚马逊AWS云服务,使大宇无限在多个方面获益匪浅。

在开发上,AWS云丰富的应用开发及部署功能,极大地降低了大宇无限在基础架构上的开发投入,同时AWS
Support全面、及时的技术支持服务,也使大宇无限的开发团队可以及时解决所遇到的技术问题,加快产品迭代速度,大宇无限新版本的交付时间缩短到2周以内。同时借助Amazon
SageMaker、Amazon
Rekognition等智能服务,实现了视频审核和推荐的自动化,大宇无限可以给用户提供稳定、可靠且高质量的视频服务。

在运维上,大宇无限目前用到的Amazon
EC2实例超过600个,全部利用AWS云服务进行自动化管理,不需要专门的运维人员,降低了运维成本。

在运营上,无论用户是在中东、拉美、东南亚还是世界其他地方,大宇无限都能借助遍布全球的AWS云,为用户提供高质量的视频服务。

此外,在计算资源使用方面,AWS云提供的预留实例、按需实例和竞价实例的计费方式,使大宇无限能够根据业务拓展状况的变化,以尽可能最佳方式租用AWS云资源,在满足业务拓展需求的同时节省总成本。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图