《企业网D1Net》1月6日讯（上海）企业中充斥着大数据。这开辟了巨大的商机以了解和预测客户的喜好和市场增长情况。在竞争激烈的全球经济浪潮下，拥有正确的信息就意味着具有竞争优势。

为了获得信息必杀技，企业需要具有合适技能的人，知道如何管理数据、建立分析系统，并使得数据具有意义。

最近EMC关于数据科学家的一项调查证实了这一点。共有83％的人认为新技术会增加对数据科学家的需求，64％的人认为，目前可供应的人才数量将不能满足需求。事实上，根据麦肯锡全球研究院的预测，在未来六年内，美国就有可能面临14万至19万具有深入分析技巧的人才短缺，以及150万管理人员和分析师的缺口——知道如何使用大数据分析以做出有效的决策。

TechTarget的Beth Stackpole还指出，今天的专业队伍是被训练来管理传统的结构化数据环境，但还没有做好准备处理大数据环境和开源平台，如Hadoop 和MapReduce。“虽然数据管理团队通常有一套定义明确的专门技术，这些技术围绕着管理和组织高度结构化的数据和建模，以及在SQL创建报表。但是这些专业知识不能很好地应用于大数据世界中非结构化、平面的那部分，命令行和NoSQL数据库技术是大多数新兴平台的核心构件。”

Hadoop——一个Apache开源项目，是一个开源组件的集合，被设计成存储大量的跨多个节点的数据，压缩到一个可访问的格式，该格式被称为Hadoop分布式文件系统（HDFS）。MapReduce通常与Hadoop结合，是一种对数据分析能力的编程构造。NoSQL（不只有SQL）数据库通常处理非结构性的数据，包括博客、文件、文本、PDF、视频和音频。

同时，企业不一定要寻找用来迎接大数据挑战和机遇的人才。接下来我将列出一些处在大数据时代前线的管理人员和顾问的看法。

Klout的首席技术官和创始人之一Binh Tran指出，相关技能是社交网络评级服务需努力克服的首要问题。“在最开始，这是一个挖掘和深入在线文档的问题。寻找具有大规模生产经验的人基本上是很难的。我们不得不聘请雅虎和Facebook的人。”Tran表示看到更多的高校，至少在硅谷Vally地区，提供Hadoop和MapReduce课程。

Ventana研究的分析师David Menninger指出，最近的一项调查结果中169名高管里超过四分之三的人表示，人员配备和培训问题是大数据的最大障碍。

技能是缺乏的，但情况并非无望的。Cloudera公司的Omer Trajman表示，大数据的解决方案力比如Hadoop“不是火箭科学，人们是可以学习的。”他说。仅仅几年前，“只有两个人知道Hadoop” ，现在数字在扩大。他说：“我们鼓励企业把目光投向他们所拥有的内部技能，并培养人才。比起在外面雇佣有经验的人，企业内部有很多已经成长为这些角色的人。企业内有很多可以学习Hadoop的人员。”

以下这些岗位将在大数据中发挥作用：

系统管理员：负责日常的集群运作。Trajman补充说，“他们可能会直接或间接地管理硬件组件，确定需要的额外硬件，并将其投入使用。”他们的职责还包括监测和配置，负责与其他系统的Hadoop集成。”

开发商：构建平台和分析应用程序。“他们拥有熟悉的工具或算法，他们可能会撰写、包装、优化或部署不同的MapReduce工作。他们将收集和维护不同的函数库，他们的作用是类似于DBA在数据库世界中的作用。”

数据分析/数据科学家：Trajman表示，数据分析和数据科学家属于同一类。这些专业人士用算法来分析问题，并做数据挖掘。“他们的作用是定义数据。” Trajman说，“他们可能有某领域的专业知识，还将帮助创建数据产品，创建数据解决方案，以推动业务。”

数据管家：最终负责收集有质量的数据。“数据管家录入所有导入的数据。在机构中有很多游荡的数据，Hadoop可以集中这些数据。因此，确定上游数据模型，拥有ETL（提取，转换，加载）的背景和数据建模都是典型的技能和背景。”

“所有这些技能集其实今天都在机构中存在。”Trajman表示。（Vivian 编译）