详解算法工程师应该具备哪些工程能力
我要评论（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
0x00 前言
最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章，有所感想，因此也写一篇关于算法工程师的技术能力的问题，和大家分享一下居士关于算法工程师的技术能力的观点。
对于一名优秀的算法工程师，他（她）要具备的不仅仅是出色的技术能力，也要有很深的业务理解能力和对外沟通能力，总之，要求可以很高！
但是，从职责能力的划分上来讲，算法工程师首先是一名工程师，因此本文主要从工程能力要求上进行一些探讨。
开始之前先放一份思维导图，这将是这篇文章要分享的核心内容：
0x01 工程能力概览
算法工程师，从名字上我们就能看出，一名算法工程师首先应该具备算法能力和工程能力，我们可以认为这是基础的技术能力。由于现在开源技术的普及，Sklearn、Tensorflow 和 Spark ML 基本已经成为大部分算法工程师标配的工具库了，因此，熟练的调包能力也是决定了一名算法工程师能否快速实现需求。
其次，在真实的生产环境中，算法的落地会遇到各种各样的业务场景和数据环境，这也要求算法工程师需要具备Pipeline 构建能力，将整个生产环境中的数据流和模型打通。同时，在生产环境中，会出现各种“疑难杂症”等待你去解释，比如说为什么实验效果特别差？为什么模型效果不稳定？这就要要求算法工程师需要具备一定的数据分析能力。
很多时候，你会发现，你用在数据分析和Pipeline构建上的精力可能占据了你8成以上的工作内容。
当你具备了上面的能力时，你已经可以称自己是一名算法工程师了。此时，你可以去对着数据分析小得瑟一下：“你看，我能构建整个模型的Pipeline，你却只能拿到别人提供的数据后调调包吧。“或者，你也可以去找开发得瑟：”你看，我懂了很多算法哦，你就只会写代码吧。“
得瑟完之后，我们还是回归正题，算法工程师只具备这样能力是否已经够了？答案当然是不够的。由于不同公司的团队成熟度不同，工具化和流程的成熟度都不同，这就会对算法工程师有不同的要求，比如说模型发布能力和报表开发能力，当然也会有一些其它能力，虽然可能不是特别重要，但是当这些工作没人帮你做的时候，算法工程师可能依然要承担起这些工作内容，比如说灰度测试的能力、负载均衡的能力等等。
将上面的内容整理后，就是这样一份思维导图了（一张图多看几篇更能加深印象，因此我再贴出来一遍）
0x02 工程能力详解
一、基础能力算法能力
算法能力就不多说了，算法工程师的基本能力要求，不懂算法对于一名算法工程师来讲是不太合理的。这里居士把统计学的内容也放进来了。
编程能力
编程能力主要分为两部分：
- Python、C++、Java这类编程语言，这三种也是算法工程师需要了解的主流编程语言，一般掌握其一就够，看不同公司。
- Sql就是很通用的能力了，Sql也是一门编程语言，而是是数据处理最常用的语言！
很好用。
大数据场景下，要了解Hive Sql。
调包能力
大家虽然会调侃调包侠，但是说实话，能调包调的很溜的人，也是不多的，比如说现在让你自己用tensorflow构建一个复杂网络，不能google，你能写出来吗？能记清楚用法吗？
- Sklearn
- Tensorflow
- Spark ML
二、核心能力
Pipeline 构建能力
Pipeline构建能力，这里想表达的更多的是整个数据流的构建能力，数据从日志->特征->模型训练->反馈，这一个链条能否完成的能力，这里面会有很多难题需要克服。比如说：
- 实时和离线模型一致性问题？
- 离线和实时特征一致性问题？
- 实时特征构建的问题？
- 数据延迟的问题？
很多时候，模型发布之类的工作是可以由其他同学支持完成，但是数据流这种问题更多的是需要算法工程师来解决的。
数据分析能力
这里的数据分析能力不是指商业分析或者业务分析，更多的是指特征分析、算法效果分析和各种异常问题定位分析的能力。
很多时候，两个算法工程师能力水平的强弱从数据分析能力上也能窥得一二。
三、辅助技术能力
辅助的技术能力是指，你会不会的影响不会特别大，但是也都是有用的能力，特别是不同公司的发展情况不同，很可能会出现一个算法工程师既要做数据接入、又要做数据清洗、还要做算法平台
也要搞前端、还要负责模型上线、系统运维。
这里就不再细讲了。
0x03 思考一
聊一下对技术能力、工程能力和数据分析的思考。
居士个人的理解，技术能力更多的是偏向于一个一个的技术点，而工程能力更多就是在一个团队中将项目做好的能力。很多算法出身的工程能力不行，那么他做的单纯的一个模型是无法应用到实际生产中的，而工程就是指把理论落地实际生产的过程。那么工程包含了什么？它包括了系统架构设计和模块设计、数据流搭建和平台搭建、调包或算法开发、分布式、上线以及各种落地的代码开发。报表和监控，其实本质也是做数据流，边缘性的可能要做些后台和前端的开发。
然后数据分析能力是什么？数据分析（不是纯粹的数据分析）除了分析方法论和套路外，是一个很综合性、相对偏软一点的能力，比如说你通过分析发现了我们的系统有哪些可以优化的点，通过分析发现了问题的原因是什么，这些都是分析能力。
0x04 思考二
针对前面的内容，和 Cathy 讨论后，对整个思路做了新的梳理，大家直接看图就好，居士也认为这样描述可能更为合理。
0x05 思考三
这里再补充一个模型复现的能力，比如你看了一篇论文，发现这个模型可能很适合自己的业务场景，那么你是否能力将论文里面的模型快速用公司现有的平台和工具来复现？
居士认为，这一个是一个非常重要的能力，但是没有想好具体该怎样划分。
0xFF 总结
本篇文章最初是参考 Milter 在简书发表的 《算法工程师究竟需要哪些工程能力》，随后和 Japson 进行了一些讨论。最后再被 Cathy 挑出众多思路和表述的问题后才完成。
那么，读到最后的你，认为算法工程师应该具备哪些工程能力呢？
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持程序员之家。
相关文章
这篇文章主要介绍了实体关系图(E-R图)基本概念详解,讲解了E-R图是什么,以及在建立关系等概念,需要的朋友可以参考下2021-08-26
这篇文章主要介绍了E-R图实例图文详解,本文通过题目给定实体，要求等做出E-R图,多个实例来详细讲述了该项技术,需要的朋友可以参考下2021-08-26
这篇文章主要介绍了软件开发过程之需求分析步骤详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-08-25
本文通过详细图文介绍简要的介绍了软件生命周期模型的内容,内容包括瀑布模型,增量模型,演化模型,喷泉模型等内容,希望该篇文章能够对你有所帮助2021-08-25- 这篇文章主要介绍了软件生命周期各个阶段详细描述,通过详细的分类介绍了软件生命周期的阶段内容,通过本篇文章你可以大致了解该项内容,,需要的朋友可以参考下2021-08-25
这篇文章主要介绍了软件工程概要介绍,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-08-24
Swift 是由 Chris Lattner 在苹果工作时创建的。这意味着 Swift 版的 TensorFlow 并不是一个代码库， 它本身就是一种语言，它内置的功能支持 TensorFlow 所需的所有功能2019-09-17- 这篇文章主要介绍了什么是框架？框架的作用是什么？为什么要学习框架？下面就简单介绍给大家，感兴趣的可以了解一下2019-08-14
- 经常上网，发现最多人问的问题就是C++难不难学。而得到的回答却基本上是说很难学，甚至有说要两年才算入门。那么C++难学吗？为什么难学？如何去学？下面我们就一起来了解一2019-08-12
大数据入门必看：Hive、Hadoop、Storm诠释(小结)
这篇文章主要介绍了大数据入门必看：Hive、Hadoop、Storm诠释(小结)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-08-09
最新评论