摘要：数据工程师到底做了什么？他们主要在幕后工作，设计和维护保持大数据管道运行的网络和软件。像医院的护理人员一样，数据工程师设置舞台并保持运行。数据科学家和数据工程师的角色可能令人困惑，因为他们的功能有一些重叠。然而，数据工程师和数据科学家对同一工作不是不同的职称，而是这两个工作需要不同的技能和经验。一些数据科学家可以实施数据工程。一些数据工程师可以实施数据分析和数据可视化。

当人们谈起医学专业时，医生将得到应有的荣耀。而在物联网的世界里，数据科学家得到了最多的关注和赞誉。他们从大数据中提取关键情报，使企业能够在现场做出明智的决策。但他们并不是在真空中开展他们的工作。数据科学家不能在没有数据工程师协助的情况下独自完成这些工作，因此，数据工程师相当于医院中的护士，确保大数据不断流动。而任何在医疗行业工作的人都会告诉你，护士才会让医院业务保持正常运行。

数据工程师到底做了什么？他们主要在幕后工作，设计和维护保持大数据管道运行的网络和软件。像医院的护理人员一样，数据工程师设置舞台并保持运行。数据科学家和数据工程师的角色可能令人困惑，因为他们的功能有一些重叠。然而，数据工程师和数据科学家对同一工作不是不同的职称，而是这两个工作需要不同的技能和经验。一些数据科学家可以实施数据工程。一些数据工程师可以实施数据分析和数据可视化。

然而，这两种角色确实有区别。例如，大型应用程序需要数据工程师的技能。而研究是数据科学家的主要工作。就像医院中的护士一样，数据工程师是一个特殊的品种。最好的有某些个性特点，他们具有优秀特点：重点，机械能力，耐心和持久性。而良好的数据工程师则沉下心来。他们想要了解数据管道如何工作和为什么工作，或者不工作。数据工程师需要耐心和毅力才能把事情做好。

为了进行建模，数据科学家需要数据工程师来收集，存储和处理数据，以便他们能够分析数据以获得洞察。负责数据管理，数据工程师处理程序，准则和标准。他们开发数据管理技术和软件工程工具，并设计定制软件，发现从灾难中恢复的方法，提高了数据的可靠性，效率和质量。而用户定义的功能和分析也是数据工程师工作的一部分。

相比之下，数据科学家对于事物有着更为宏观的看法，并且与数据有着不太密切的关系，他们处理来自业务需求的分析项目。数据科学家还采用数据挖掘架构，建模标准，报告和数据方法。以外，他们还管理数据挖掘系统的性能和效率。

因为数据工程师建立和维护向数据科学家发送信息的数据管道，其工作是非常有价值的。如果数据工程师了解算法，就可以运行基本的学习模型。而数据科学家解决业务问题，采用复杂的机器学习算法。最好的数据科学家采用机器学习模型来满足业务或代理机构不断变化的需求。

应对大数据挑战的工具

数据库集成和非结构化大数据的挑战由数据工程师处理。他们必须清理非结构化数据，然后将其传递给组织中需要这些数据的任何人。像准备手术患者的护士一样，数据工程师为数据科学家为数据轻松工作做好准备。他们应该了解数据仓库，数据库设计，数据收集和传输以及编码等知识。

数据工程师正在关注的数据管道部分决定了他们将使用哪些工具。流水线后端的数据工程师构建用于数据消耗的API，集成来自外部源的数据集，并分析数据如何用于支持业务增长。

虽然这些专业人士有很多语言可供选择，Python是一个很好的选择。数据工程师使用它来编写与数据摄取相关的代码。Python可以与任何数据存储（如NoSQL和RDBMS）通信。数据工程师可能必须使用大数据技术（如Hadoop和Spark）根据数据的使用方式提出改进建议。

数据工程师有许多工具可供使用，包括：

·Spark

·NoSQL数据库（例如Cassandra和MongoDB）

·Hadoop和相关工具，如HBase，Hive和Pig

·Pentaho

·VMware

·JavaScript

数据科学家和数据工程师的前景如日东升

数据工程师可以期望过上一个好生活。在美国，数据工程师的平均工资是95,526美元。平均年薪标准的最低为$65,000，最高为$121,000。美国对这些工作的需求在2024年将增长15％，这比美国所有职业的平均水平要快。一些行业巨头和美国政府部门，正在提高他们对这两个职位的数量要求。

去年，一个调查机构调查了美国和欧洲的422名高管。询问他们关于金融服务，医疗保健，制造业和零售业等行业最需要的数字技能是什么。43％的企业高管表示，在三年内，分析和大数据技能将是他们公司最重要的数字能力。

随着生活和业务越来越受数据驱动，行业对数据工程师和数据科学家的需求将继续上升。现在是数据专业人员获取或利用他们的技能的时候，所以他们将有良好的职业发展前途。