在过去10年，随着大多数企业开始接受数字化变革，数据科学家和数据工程师有着不同的职业发展，并且显然都有各自特定的服务范围。企业在业务运营中不断生成数据。而每个事件都是企业功能的快照，例如收入、损失、第三方合作伙伴关系以及收到的货物等。但如果不探索和分析数据，就不会获得任何见解。数据工程的目的是帮助处理这一过程并使其对数据拥有者可用。本文将探讨数据工程的定义、数据工程师的技能、工作和职责，以及数据工程的未来发展。

数据工程是什么?

在数据世界中，数据科学家对他们所接触的信息或数据进行比较。大多数企业将其信息或数据存储在各种各样的数据集和数据格式中。这就是数据工程发挥重要作用的地方。简单地说，数据工程就是由数据工程师来组织和设计数据。他们构建数据管道来更改和组织信息并使其有用。数据工程与数据科学同样重要。然而，数据工程需要认识到如何获得激励形式的数据，例如从A点移动到B点而不受污染的数据。

“数据工程”这个名字代表了这样一项工作，它不再使用传统的ETL(抽取、转换、加载)设备，而是建立了自己的工具来处理不断扩大的信息或数据量。随着大数据的发展，数据工程开始描绘一种以数据为主的工程：数据框架、数据仓库、数据挖掘等等。

数据工程师技能和工具

在知道什么是数据工程之后，再了解一下数据工程师的技能和工具。

在数据工程中，数据工程师使用特定工具来处理数据。但处理每个框架都存在明显的困难。他们应该考虑信息展示、存放、确认和编码的方式。这些群体同样应该理解获取和控制数据的最有效方法。数据工程考虑从开始到结束测量“数据管道”，每个管道都有一个或多个来源。而在管道内部，数据可能会经历几个阶段的变化、批准、改进、缩减。数据工程师使用不同类型的工具制作这些管道，例如：

• ELT工具：ETL是在框架之间移动数据的高级分类。这些工具从广泛的进步中访问信息，然后应用规则来“更改”和清除数据，以便为分析做好准备。
• Python：Python是一种通用的编程语言。由于其可用性和用于获取数据集和容量提升的广泛库，它已成为执行ETL任务的知名工具。可以使用Python而不是ETL设备进行ETL工作。许多数据工程师使用Python而不是ETL设备，因为它更具适应性，并且对于这些任务更令人印象深刻。
• Apache Hadoop和Spark：Apache Spark和Hadoop可以处理多台电脑中的大量数据集。它们使应用多台电脑协作处理数据的工作变得更简单。当信息量太大以至于无法考虑将其放在单台电脑上时，扩大容量就显得尤为重要。如今，Spark和Hadoop不像Python那样简单易用，而且不可否认的是更多的人了解和使用Python。
• SQL和NoSQL：SQL和NoSQL是执行数据工程应用程序的基本工具。它们以处理大量正在进行的非结构化和多态数据而闻名。当信息源和目标是类似类型的数据集时，SQL就特别有用。
• HDFS：HDFS在数据工程中用于在准备期间存储数据。HDFS是一个特定的框架，可以存储基本无限的数据度量，使它们有助于数据科学工作。
• Amazon S3：Amazon S3是一种类似于HDFS的工具。它还用于存储大量数据，并使它们可供数据科学家使用。

以上已经提到了“数据工程师”这个术语，人们一定在想：“数据工程师是做什么的?”

数据工程师做什么的?

数据科学家的能力取决于他们可以访问的数据。数据通常以多种格式存储，例如数据库和文本文件。数据工程师将数据转换成数据科学家可以使用的格式，并为此构建管道。数据工程师和数据科学家一样重要，但他们并不那么显眼，因为他们离最终产品更远。数据工程师需要了解如何开展工作，以及在不篡改的情况下将数据从A点移动到B点的工程技能。

数据工程师将处理数据以便对其进行分析。他们分析数据集并开发算法以使原始数据对企业更有用。数据工程师需要具备许多技术技能，包括对SQL数据库和多种编程语言的深刻理解。但是数据工程师还必须学习如何与不同部门进行沟通，以便他们能够从大数据集了解企业领导者的需求。

数据工程师通常需要了解企业或客户的目标，以构建更容易访问原始数据的算法。对于处理大型复杂数据集的企业来说，在处理数据时必须使业务目标保持一致。

(1)数据工程师是否会编写代码?

众所周知，只需具备开发人员的强大技能即可担任数据工程师这个工作角色。数据工程师需要编写脚本和一些代码。像数据科学家一样，数据工程师也需要编写代码。他们具有高度的分析能力，并对数据可视化感兴趣。当数据工程师使用数据管道时，他们需要编写代码。因此，编写代码是成为数据工程师的一项重要技能。

(2)数据工程师的职责

数据工程师与数据分析师、数据科学家、业务领导者和系统架构师合作，了解他们的具体要求。数据工程师的职责包括：

• 收集所需的数据：在开始对数据库进行任何工作之前，数据工程师需要从正确的来源收集数据。在采用一些数据集标准之后，数据工程师存储升级后的数据。
• 创建数据模型：数据工程师利用数据收集的绑定数据模型来分离记录的知识点。此外，他们还建立了预测模型，在预测模型中，他们采用预期策略和卓越的经验了解未来发展。
• 确保数据的安全性和组织性：使用统一的安全控制(如LDAP)、对数据进行编码并调查对数据的归纳。
• 处理数据：使用针对数据的特定用途进行更新的明显改进，例如，社交信息集合、NoSQL信息集合、Hadoop、Amazon S3或Azure博客。
• 为明确的先决条件处理数据：使用从不同来源输入数据的工具，更改和升级数据，汇总数据并将数据存储在限额系统中。

数据工程的未来发展

随着技术的飞速发展，数据工程领域正在经历一场彻底的变革。当前数据工程的发展受到物联网(IoT)、无服务器计算、混合云、人工智能和机器学习(ML)的影响。

大数据的广泛应用导致数据工程师的诞生。然而，数据工程在过去八年发生了巨大的变化，这要归功于数据科学工具的快速自动化。

现代业务分析平台配备了全自动或半自动化工具，可以收集、准备和清理数据以供数据科学家研究。如今，数据科学家不需要像以前那样依赖数据工程师来处理信息管道。

随着从面向批处理的数据移动和处理转向实时数据移动和处理，实时数据管道和实时数据处理系统已经发生了重大转变。

数据仓库在处理数据集市、数据湖或简单数据集方面具有极大的灵活性，最近变得非常流行。数据工程的新趋势阐明了数据集流创新如何建立高度可扩展的实时业务分析。

随着未来事物信息设计的创新转变，以下领域将会：

• 批量到实时：变更数据捕获系统正在迅速取代批量ETL，使数据库流成为现实。传统的ETL功能现在正在实时发生。数据源和数据仓库之间的连接性增加，这也意味着通过数据工程实现的高级工具进行自动分析。
• 数据科学功能的自动化。
• 跨越内部部署和云计算环境的混合数据架构。

最近数据工程技术的另一个重大转变是“按原样”查看数据，而不是担心数据的存储方式和位置。

数据工程vs.数据科学

数据工程和数据科学是相辅相成的，而数据工程师将确保数据科学家能够可靠地查看信息。

数据科学是一个广泛而有更多技能的研究领域，其中包括数学、统计学、计算机科学、信息科学和商业领域的数据。它的核心是通过利用逻辑工具、策略、方法和计算从庞大的数据集中分离重要的示例和知识点。数据科学的中心部分科学融合了大数据和机器学习等技术。

此外，他们还使用诸如R、Python和SAS之类的工具来有效地检查数据。他们期望数据可以随时使用并在一个地方组合。他们使用图表、图表和表示设备来传达他们的经验。

数据工程师使用SQL和Python等工具为数据科学家准备好数据。数据工程师与数据科学家开展合作，以了解他们对任务的特定要求。他们构建数据管道，以获取和更改检查所需的数据。这些数据管道应该是为执行和坚定不移的质量而设计的，这需要对编程最佳实践有扎实的理解。而在网络上有许多可用资源，他们应该为处理大量数据集和请求服务等级协议(SLA)的执行和适应性制定计划。

结语

数据工程与管理规模和熟练程度密切相关。因此，数据工程师应该经常更新他们的能力和技能，以促进利用数据分析框架的方式。由于收集的信息十分广泛，可以看到数据工程师与数据库管理员、数据科学家和数据架构师共同努力。

如今对于数据工程师的需求正在迅速增长。如果应聘者在构建和调整巨大范围信息框架中具有独到的见解，那么数据工程师可能是最适合他的职业。

原文标题：What Is Data Engineering? Skills and Tools Required，作者：Billy Peterson