企业网D1Net 2012年5月3日 IDC（国际数据公司）研究副总裁Susan Feldman（苏珊·费尔德曼）在本周举行的一次大型数据圆桌会议上指出，大数据技术的复杂性要求从业人员具有丰富的技巧，而在IT专业人士中这样的人是比较少见的。对于这些新技术，很多人都不是很熟练。对此，Feldman还发出了这样的疑问：“如果员工并不熟悉大数据技术，那么企业应该如何分配工作给他们呢？”

在分析数百千兆字节或者拍字节的非结构化数据时，公司所采用的最常见的技术是利用一个被称为Hadoop的开源系统。Hadoop中有一道叫做并行程序设计的工序，这道工序能够使分析在数百台有很多磁盘驱动器、同一时间启动的服务器上进行，它把数据存储在一个叫做HDFS（Hadoop分布式文件系统）的文件系统里，这样，一个可以跨多个磁盘驱动器和服务器的平面文件系统就可以正常运作了。

然而，业界人士广泛认为Hadoop是一个极难掌握的复杂系统，它要求从事这份工作的人具有很高的技术开发能力。此外，企业还缺乏有效的生态系统和关于开源产品的标准的制定。

Feldman还指出，“现在精通Hadoop的专家很少，而且能够支持Hadoop运作的工具都还不太理想。你需要的不仅仅是知道如何操作Hadoop文件系统的专家，而且还需要那些知道如何用三流的工具来操纵Hadoop文件系统的专家。”

Feldman敦促Autonomy、EMC、Teradata和IBM公司改进技术，以减少技能危机对本公司的影响。 “如果供应商能提供的专业知识，如果他们能保持软件更新，那么这将减少企业IT部门的负担。”

“将所有的大数据块整合成一个良好的系统，并使该系统内的一切都可以自由地交互，这是非常困难的。大多数从事这类工作的人也许可以再聘请10个人，但他们都得独立工作。”

IDC（国际数据公司）预测道，在2010年和2015年之间，大数据硬件、软件和服务销售市场的年均复合增长率将达到39.4%.然而，这种没有把占企业已用资源相当数量的帐户开源产品考虑在内的算法，其实是不太准确的。