在这个数据越来越占主导地位的世界中，数据工程师至关重要，因为他们知道如何存储、移动和清理公司的数据。反过来，数据科学家和分析师从工程师搭建的数据管道中来挖掘数据，获得有价值的见解。

由于其工作非常复杂，数据工程师必须掌握各种技能，包括 SQL 编程和大数据平台，如 Apache Hadoop 和 Scala。大公司经常聘请数据工程师，但这些公司也希望应聘者具备适当的技能和知识背景，能够胜任大型项目中公司安排的任务。

“数据对企业来说一直都非常重要，这一点从未改变过——数据产生速度非常快，而且数量也非常多，而数据工程师的职责就是填补大量传入数据的差距，为公司带来利益。”在线学习专家 Udacity 的高级产品经理大卫·哈里斯（David Harris）这样说道。

Dice Insights采访了哈里斯，谈论了数据工程师在当今企业中扮演的重要角色，他们需要具备的重要技能，以及他们在面试过程中应该提出的关键问题。

数据工程师如今面临的挑战有哪些？

数据工程师必须将数据从一个地方移动到另一个地方，并确保这些数据干净利落、有条有理地到达目的地（这对于一些杂乱无章的数据集来说很难实现）。由于数据的来源非常复杂，多达数百数千，工程师们必须尽可能多地了解格式和结构（以及实现这些功能所需的流程和工具）。

哈里斯解释说：“除此之外，还有关于数据是否正确的问题以及数据治理、数据如何共享、隐私如何影响正在被共享和传送到不同地方的信息，”。哈里斯还说道，“数据工程师必须真的了解哪些用户正在使用信息，这些信息的用途是什么，并知道不准确或未更新的数据带来的风险。总而言之，数据工程师需要考虑的事情很多。”

技术招聘人员关注的面试问题有哪些?

“数据工程师的面试类似于软件工程面试，包括候选者参与过的项目类型，如何为数据仓库设计管道或数据结构，”哈里斯说。“有些公司会寻找具有 Spark 或 Kafka 处理流数据经验的员工，因此这些员工的经验通常包含数据工程主要功能，例如管理数据湖和数据仓库，构建数据管道，将数据将一个源移动至另一个源。这些条件都是他们正在寻找的最大复选框。”

数据工程师如何为面试做足准备?

哈里斯说，在准备面试时，有两个方面非常重要：知识背景，以及你从之前的项目中的收获（这些项目是否成功）。

“每次面试都会要求候选人描述最近做过的项目，”哈里斯说。“所以你需要记录项目经历过程、你在项目中的作用，以及你是如何做出这些决定的。”

候选人最重要的技能是什么？

Burning Glass称，数据工程师的关键技能包括Python、机器学习和大数据，所以招聘人员和招聘经理会就这些方面进行提问。描述和维护数据基础设施设计也很重要，这意味着你需要思考如何将数据存储在数据仓库或数据湖中，并且能够在面试官中描述实现这些设计的步骤。

“在沟通和协作技能方面，你需要能够提出专业性且有一定深度的问题，了解用户需求以及他们试图解决的问题，”哈里斯说。“这不仅仅是接受数据请求并执行操作——而是要弄清楚这些数据带来的影响。”

除此之外，数据工程师需要作出取舍，是选择这个项目还是另一个项目。“作为一名工程师，你需要分清轻重缓急，然后弄清楚接下来要做什么，”哈里斯补充道。“要成为一名成功的数据工程师，知道向谁传达策略也非常重要。”

如何回答有关“最大成就”或最大优点/缺点这类问题？

如果被问到“最大成就”的问题，你可以讨论那些你觉得具有挑战性的项目，以及完成之后非常自豪的项目。哈里斯说：“当你完成一件非常困难的事情时，你会感到兴奋，这样你也就有机会展示你为什么如此热爱你的工作。”

当被问到缺点时，你要突出你的发展空间。如果你在数据工程的某个特定领域有不足之处，只要你意识到这个问题，并且有意识地去改正，那么这个不足就显得不那么重要了。不是每个人都能掌握每一种工具或技能；重要的是你的学习能力。

数据工程师在面试过程中应该提出哪些问题？

你可以询问未来雇主公司当前的数据基础设施；虽然他们可能无法告诉你所有详细信息，但至少可以让你大致了解公司是如何处理动态和静止数据的。

“另外，同时要了解有什么类型的指导，团队的协作程度如何，人们如何提问和协作，”哈里斯说。不要害怕提出探索性的问题；在从事像数据工程这样复杂的工作之前，你需要尽可能多地了解一家公司。

作者：Nathan Eddy