明略数据为国美在线打造基于Apache Hadoop的大数据平台，通过对数据的深度挖掘、分析和整合分析，有效实现业务提升与创新。

项目总结

·明略数据为国美在线打造基于Apache Hadoop的大数据平台，包括系统整合、数据挖掘、数据分析、数据整合几大核心构架和功能。

　　·实施部署的SiteMonitor流量监控集群有效监控用户行为，进行深度分析。

　　·Hadoop数据仓库有效实现数据整合，存储商品数据、用户数据、交易数据、库存数据、物流数据等的最实时数据。通过大数据平台的实时SQL分析引擎关 联分析，更加高效、快速、全面的生产业务报表，为业务人员提供更多数据以支持业务决策。

　　·国美DMP定义了DMP统一用户行为数据模型，并提供了数据存储接口，通过用户ID打通、用户行为存储、用户行为分析框架、用户属性分类、用户查询/筛选、计算结果输出等多模块，实现业务创新和服务提升。

项目背景

·随着国美在线流量的增长和业务的扩张，其传统IT基于数据库为中心的数据存储、管理、计算的架构已经无法满足日益增长的实时OLAP数据分析需求以及数据打通、个性化推荐、人群细分、精准投放等大数据领域有代表性的业务需求。

　　·国美在线内部具有大量的基于Oracle数据库为代表的传统业务系统。这些系统面临着如下几方面的问题

　　1. 自身业务扩张导致压力增大，致使反映业务状况的报表无法及时生成

　　2. 多个业务系统间的数据无法打通，无法出具更全面的报表、指标。 这些问题虽然可以通过基础IT设施的升级来解决，但是面临极其昂贵的成本。

项目内容

明略数据为国美在线大数据平台一期做了以下的建设规划：

·采用基于Apache Hadoop的明略数据BigDataPlatform搭建国美大数据基础平台，做好IT基础设施建设

　　·采用SiteMonitor流量监测软件，为国美建设在线流量监测系统。通过自定义流量监测脚本，实现国美在线流量的站内站外监测和收集，通过数据分析得出多种维度的流量分析报表与指标。并且，这些在线用户行为数据统一存储于国美大数据平台中。

　　·建设国美Hadoop数据仓库。通过明略数据实时增量的数据库同步软件INCR，实时同步多个业务系统数据到Hadoop数据仓库中。

　　·构建国美数据管理平台(国美DMP)， 建立统一用户行为模型，统一存储各个来源的用户行为数据，包含在线用户行为数据、线上交易数据、线下交易数据、库存数据、物流数据、客服数据等。

　　·基于国美数据管理平台，实现用户行为数据分析与挖掘，为精准投放、个性化推荐、定向营销等业务系统提供数据支持。

项目成果

·明略数据携手国美在线，搭建了基于Hadoop的大数据平台。平台包含HDFS、Yarn、Mapreduce、HBase、Hive、Spark、 Shark、pig、sqoop等多种大数据工具组件，并通过明略数据的大数据平台管理软件NoahArk统一管理，在基础的节点增减、组件配置、服务启 停等管理功能之外，提供了插件式的自定义服务安装、多租户的资源分配、权限管理，以及自定义监控报警等功能，为大数据平台的快速、稳定运行提供了基础保 障。

·明略数据为国美在线实施部署了SiteMonitor流量监控集群，并协助国美人员定义了全站页面的用户行为监测脚本，实现了站 内用户行为的统一收集，实现了从站外流量到订单交易的全过程用户行为打通，为后续的用户行为分析收集了详细的数据。这些数据通过分布式日志收集工具统一存 储于大数据平台中。

·明略数据在大数据平台上建设了Hadoop数据仓库，并通过明略数据实时增量数据同步工具INCR，将多个在业务系统中的关系型 数据实时同步到Hadoop平台中。在国美在线的Hadoop数据仓库中，存储了商品数据、用户数据、交易数据、库存数据、物流数据、客服数据、维保服务 等的最实时数据。通过大数据平台的实时SQL分析引擎，这些数据被关联分析，更加高效、快速、全面的生产业务报表，为业务人员提供更多数据以支持业务决 策。

·国美DMP定义了DMP统一用户行为数据模型，并为提供了数据存储接口。通过SiteMonitor收集到的在线用户行为数据， 以及存储于数据库数据中的各类用户行为数据，通过该数据接口将数据存入国美DMP中。DMP内部包含了用户ID打通、用户行为存储、用户行为分析框架、用 户属性分类、用户查询/筛选、计算结果输出等多模块。国美在线的开发人员通过自定义用户行为模型，并提交给用户行为分析框架统一执行，得出目标用户人群， 并使用计算结果来支持业务系统。