数据工程师是美国现如今需求最大的职业之一。数据工程师利用编程、数据建模和算法知识等技能,帮助公司收集、管理原始数据并将其转换为信息可用的系统。
随着越来越多的公司意识到数据分析的潜力,他们开始雇佣更多的数据工程师——这就意味着:拥有出色的相关技能的人现在拥有巨大的市场。
但这些公司到底需要数据工程师拥有哪些技能呢?无论是什么行业,数据工程师都需要大规模设计、构建、优化和维护数据基础设施。此外,他们还需要拥有同理心和沟通能力等“软技能”,因为数据工程师必须得到整个公司中其他利益相关者的支持。
尽管数据工程是一门新兴学科,自2016年才开始发展壮大,但数据工程师已经成为了薪酬最高的科技人才类型之一,其平均总薪酬为114026美元。更值得一提的是,他们的薪资在短期内没有下降的迹象。
然而,由于这是一个几乎全新的领域,从数据库管理、数据分析、编程或软件工程到数据工程的专业人员都面临着一个特别的挑战:职业道路不明确。如果你想知道该如何向前走,下面超过五种的职业道路,让你充分利用好作为一名数据工程师,你所拥有的技能。
从多面手到领域专家
随着数据团队不断专业化和结构调整,新的职位不断涌现。
Monte Carlo公司首席技术官、《纽约时报》前数据高级副总裁Shane Murray解释道,数据平台团队现在很常见,也是数据工程师从多面手转变为某一领域专家的好地方。
也就是说,你可以专门研究对业务运营非常重要的特定数据领域,例如客户数据或产品/行为数据。在从事这方面工作时,你应该致力于弄明白端到端的问题——从原始资料到分析用例,而这都会帮助你成为团队里的“宝贝”,从而让你去做更广泛的业务。
或者,你可以专门研究数据平台的某一特定领域,例如可靠性工程、商业智能、实验或特征工程。这些类型的工作通常会让你对其他业务有更广泛(但更肤浅)的理解,或许会让你将技能扩展到软件工程和其他学科。
数据工程经理
从初级晋升到中级再到高级,并承担更多的数据管道战略、规划和架构责任后,一些数据工程师会“进化”到担任与管理层有关的职位,去监督公司的数据工程部门。
然而,数据工程经理所负责的不仅仅是招聘人员和管理人员;他们戴着许多“帽子”。Interview Query首席执行官、前数据科学家Jay Feng解释道,这项工作与软件工程管理职位类似,一部分是开发,一部分是管理。
数据经理负责领导数据工程师团队并为他们提供指导,同时,他们还需要选择工具和数据架构,创建数据堆栈并推动相关部门进行工作。
如果你想从“个人贡献者”转变为数据工程经理,你需要看看你是否可以承担更多责任,是否可以很好地与团队成员合作和并给他们分配任务。
在数据平台内的各团队中展示能力也有助于帮你晋升为一名数据工程经理。数据平台团队通常由具有数据工程背景的人领导,需要对各团队的业务和技术项目有着广泛的理解。
数据架构师
如果你对设计有浓厚的兴趣,并希望构建高级数据模型、框架和管道,你可以选择成为一名数据架构师。尽管名为数据架构师,但它其实是一个与业务联系紧密的职位。为构建满足特定业务需求的高级数据模型和管道、提供其路线图,数据架构师需要牢牢掌握业务的方向和战略。
要成为一名数据架构师,请关注数据工程中的设计元素,并熟练使用数据库管理系统软件,尤其是SQL。
此外,由于数据架构师需要与不同的利益相关者沟通,Feng建议去获得更多与数据团队合作的经验,并带头凝聚好整个团队。
数据产品经理
数据工程师的另一条路是成为一名数据产品经理。如果你在数据工程团队工作,又特别喜欢与用户交谈、跟他们交流需要解决的问题,并想为团队提供方向和路线图,那么数据产品经理可能是你的不二之选。
Murray指出,随着我们“将数据视为一种产品”、一种关键的仪表盘和决策支持工具、一种对业务运营和客户体验至关重要的机器学习应用程序,数据团队对其投资力度越来越大。优秀的数据产品经理了解如何构建可靠和可扩展的数据产品,同时也会运用产品思维达成预期目标。
后端工程师
或者,你可以从事后端工程、软件工程或机器学习工程的工作(这些工作一般都是数据平台系统的一部分)。
如果想做更多样化的任务,你可以考虑成为一名后端工程师。你仍将参与数据工作——事实上,你可能需要以“多功能”后端的身份进行一些数据工程工作。但作为后端工程师,你也可以使用数据库、后端逻辑、API、架构、服务器等。
现如今,对有数据科学能力的人的需求不断增加。我们可以很肯定地说,任何想走数据工程师这条道路的人都有着众多选择。
作者:Leslie Stevens-Huffman