《企业网D1Net》3月17日讯

在大数据时代下，大数据行业的发展之快，令人惊讶万分，与此同时，随着大数据分析的应用深入，大数据分析已经成为企业决策新助手。但中国有句古话“尽信书不如无书”，其实大数据分析没有你想象的那么完美。这主要是由于大数据中并不是所有的数据对用户都有价值，一些垃圾信息甚至对数据价值带来深深的伤害，如何对收集的数据进行筛选、去伪存真，才是大数据真正实现价值的关键。

不可否认的是大数据拥有巨大的价值，但是就目前情况看来，大数据更像是镜中花水中月，看似美好，实则言过其实。在浩如烟海的数据中心去发掘对用户有价值的数据，就好比在垃圾场捡拾宝贝一样，就好比在沙漠中寻找宝石一样。

那么，如何从大量数据中心获得对用户有价值的信息呢？下面让我们看一下当前人们是如何剔除垃圾信息，寻找数据价值。

为何要剔除这些垃圾信息你？其中一点上文中我们已经提到，这些垃圾信息影响我们的数据分析结果，让数据价值难以体现，其实这只是垃圾信息的一种危害。同时，过多的垃圾信息还会造成客户基础设施的瓶颈，给系统带来负担，并增添存储、主机等设备成本，大大增加企业用户的运维成本。那么如何去除这些垃圾信息呢？

大数据相比于传统的数据有着一个重要的区别，那就是非结构化数据的出现，这让传统的按照原本特定的规则和参数剔除垃圾信息的方式失去了用武之地。大数据时代需要新的垃圾信息剔除方式。但如今大数据正处于发展出去，各大IT厂商虽然都竞相推出了大数据解决方案，但是针对垃圾信息剔除方面的方法几乎没有。

笔者认为不妨从以下两个方面入手：

人力方面:如今的大数据分析方面缺乏只能，这样很多解决方案并不能真正的实现智能分析，而人工就要承担其中的智能部分。有些数据分析问题会被发送于负责相应问题的专员，由相关的大数据分析专业人员提供问题的解决方案。

IT厂商方面：除了在人力方面加大力度，培训专业的人才。还需要更多的大数据厂商来提供更加智能的解决方案，光靠人力显然是不够的。

在未来面对这么大一堆的垃圾，这将是大数据厂商的一个重要挑战。厂商们需要确立新的数据标准，帮助用户更加深入的分析数据，能够智能分辨数据的级别，自动剔除重复的、同一IP地址的或者恶意干扰的数据，这样才会大大加快数据分析的速度。从无到有，有的时候可能就是一点点，然后需要一点点时间，逐步的积累，这是对大数据厂商的长期考验。

D1Net评论：

随着大数据价值的凸显，很多企业都纷纷运用大数据为企业创造价值，然而，大数据并非都是好的，也存在很多垃圾数据，在运用过程中，需遵循取其精华，去其糟粕的原则，这样才能将大数据的真正价值应用到实处。