资讯 人工智能开发者
此为临时链接,仅用于文章预览,将在时失效

四步组建高效机器学习团队

作者:skura
2020/02/20 13:15

四步组建高效机器学习团队

在过去的几年里,机器学习得到了巨大的发展。但是,机器学习作为一门年轻的学科,其团队的管理方式却更加年轻。今天,许多机器学习经理被推到管理岗位是出于需求,或者是因为他们是最好的个人贡献者,而且其中许多人来自纯学术背景。在一些公司,工程或产品负责人被指派在没有任何机器学习实战经验的情况下构建新的机器学习功能。              

管理任何技术团队都很困难:              

然而,运行一个机器学习团队更加困难:              

我最近参加了加州大学伯克利分校的全堆栈深度学习训练营(https://fullstackdeeplearning.com/november2019/ ),这是一门教授全堆栈生产深度学习的精彩课程。Josh Tobin 教授的一个讲座提供了关于机器学习团队的最佳实践。出于对 Josh 演讲的尊重,这篇文章将给出其中的一些观点,如果你是一个管理者,这可能会帮助你思考如何建立和管理机器学习团队;如果你是一个求职者,它也可能帮助你在机器学习领域找到一份工作。              

PS,你也可以直接观看演讲视频:https://www.youtube.com/watch?v=Qb3RhwNb4EM&list=PL1T8fO7ArWlcf3Hc4VMEVBlH8HZm_NbeB&index=8&t=0s            

步骤 1:角色定义              

让我们看看最常见的机器学习团队的角色及其所需的技能:              

  1. 机器学习产品经理是与机器学习团队、其它业务职能部门以及用户打交道的人。他们负责设计文档,创建线框图,提出执行机器学习项目的计划和优先级。              

  2. 开发工程师是部署和监视产品系统的人,负责运行已部署的机器学习产品的基础架构。           

  3. 数据工程师是构建数据管道,从数据存储中聚合和收集、监视数据行为的人,他们将使用分布式系统,如 Hadoop、Kafka、Airflow。              

  4. 机器学习工程师是训练和部署预测模型的人,他们使用 TensorFlow 和 Docker 等工具处理生产中运行在真实数据上的预测系统。              

  5. 机器学习研究员是训练预测模型的人,但这个模型通常是前瞻性的,或者和生产不会有紧密联系。他们使用 TensorFlow/PyTorch/Jupiter 来建立模型,并用报告来描述他们的实验。              

  6. 数据科学家实际上是上述所有角色的总括。在一些组织中,这个角色需要通过分析来回答业务问题。

四步组建高效机器学习团队

图片来自 2019 年 11 月 Josh Tobin 的 FSDL 训练营(https://fullstackdeeplearning.com/novenmber2019/ )    

那么,这些角色需要什么技能呢?上面的图对此进行了描述,其中水平轴是机器学习技能的水平,而气泡的大小是沟通和技术写作的水平,气泡越大表示能力越高。              

  1. 机器学习开发工程师主要是软件工程师。              

  2. 数据工程师属于软件工程团队,与机器学习团队积极合作。              

  3. 机器学习工程师需要机器学习和软件工程技能的组合。他们要么是具有优秀自学能力的工程师,要么是毕业后从事传统软件工程师工作的科学或工程博士。              

  4. 机器学习研究员是机器学习专家,通常拥有计算机科学或统计学硕士、博士学位,或完成有奖金的工业项目的人。              

  5. 机器学习产品经理和传统的产品经理一样,对机器学习的发展过程和思维方式有着深刻的认识。              

  6. 数据科学家的角色构成非常广泛,包含了从本科到博士背景的人。              

步骤 2:组建团队              

关于构建一个机器学习团队的正确方法还没有达成共识,但决于不同的组织原型和他们的机器学习成熟度水平,有一些最佳实践。首先,让我们看看不同的机器学习组织原型是什么。              

原型1:初创和临时 ML 团队              

原型 2:研究与开发 ML 的团队              

原型3:嵌入产品的 ML 团队              

原型 4:独立的 ML 组织              

原型 5:ML 优先团队              

四步组建高效机器学习团队

根据组织的原型,你可以做出适当的选择,大体上分为以下三类:              

以下是设计建议。           

如果贵公司专注于机器学习研发:              

如果组织在产品中嵌入了机器学习:              

如果贵公司有独立的机器学习部门:              

如果你的组织以机器学习优先:              

下图清晰地总结了这些建议:

四步组建高效机器学习团队

图片来自 2019 年 11 月 Josh Tobin 的 FSDL 训练营(https://fullstackdeeplearning.com/novenmber2019/  )  

步骤 3:管理项目              

管理机器学习项目可能非常具有挑战性:              

那么,如何才能更好地管理机器学习团队呢?秘诀是计划机器学习项目是有可能的!              

本质上,从这里开始:

四步组建高效机器学习团队

到这里结束:

四步组建高效机器学习团队

以下是其他一些不错的做法:              

步骤 4:雇佣人才              

Element AI 的这份 2019 年全球人工智能人才报告(https://www.elementai.com/news/2019/2019-global-ai-talent-report )表明,顶级人工智能人才的供应无法满足需求。在人工智能研究的前沿领域,大约有 2.2 万人积极发表论文并出席学术会议。只有大约 4000 人参与了对整个领域有重大影响的研究。共有 36500 人获得了人工智能专家的称号。相比之下,美国和全球的软件开发人员分别为 420 万和 2640 万。              

1.如何培养机器学习人才?              

以下是雇佣机器学习工程师的一些策略:              

以下是雇佣机器学习研究人员的策略:              

你如何第一时间找到这些人?              

四步组建高效机器学习团队

出于长期战略,你需要考虑如何吸引这些人才:              

2.如何面试机器学习候选人?              

那么在机器学习面试中你应该考虑什么呢?              

与传统的软件工程面试相比,机器学习面试的定义要差得多,但以下是常见的考察方面:              

四步组建高效机器学习团队

3.如何找到一份机器学习的工作?              

假设你是一个机器学习的面试者,正在阅读这篇文章。你可能会问:「我应该在哪里找到机器学习的工作?」  

找工作当然不容易,但有两种方法可以让你脱颖而出:              

为了准备面试,你应该:              

我还建议你看看这张来自 Chip Huyen 在训练营上的幻灯片(https://twitter.com/chipro/status/1196232680364376064 ),其中包括机器学习面试过程中的一些重要经验。              

结论              

对于大多数传统组织来说,组建机器学习团队是一门新的、不断发展的学科,充满了已知和未知的挑战。如果你是直接跳到最后,这里是几点总结:              

希望这篇文章能为你提供有用的信息,帮助你高效地构建机器学习团队。      

via:https://medium.com/cracking-the-data-science-interview/the-4-steps-to-build-out-your-machine-learning-team-productively-e140a03da0bc

雷锋网雷锋网雷锋网  

长按图片保存图片,分享给好友或朋友圈

四步组建高效机器学习团队

扫码查看文章

正在生成分享图...

取消
相关文章