一、如何实施
在内部大数据应用流程闭环的5个主要步骤中,每一步工作都有着不同的重点:
Step1总体体系设计
总体体系设计,决定了企业内部大数据应用未来可以发挥的价值空间,所以需要高度重视。前期要做踏实,不要急于求成。
主要工作包括:
● 对企业现有数据情况深入摸底,确定客户相关数据在各业务系统中的情况(分布/数据属性/关联性/数据质量等)
● 通过在各业务部门调研和访谈方式,以及用户研究的发展趋势,确定企业各部门未来的应用总体需求目标,并抽象为相关对客户属性/标签的需求。
● 在前两步工作的基础上,通过用户研究人员与大数据架构/分析人员的合作,完成相关的总体设计。
输出结果至少包括:
● 新数据体系的设计与重构方案,定义以客户为中心的新数据模型的抽象/关联性/属性来源/生成机制等,包括对现有数据的整合机制,以及对当前(基于标签体系要求)缺失数据属性的采集和融合机制。
● 客户标签应用体系的框架性实现方案,包括对客户标签体系的框架与分类体系、重要标签设计与分析思路,以及未来的应用模式等
Step2数据整合集中
基于新数据体系的设计要求,建立一个统一的内部大数据平台,将相关的数据整合于其中并进行有效管理。
主要的工作包括:
● 搭建统一大数据平台的软硬件/网络的基础架构(包括应用与数据库系统)
● 对于现有数据,基于新数据体系的设计,设计数据物理模型和对接方案,并通过技术手段(ETL/编程)对接各内部业务系统,将各业务系统的相关数据统一整合到大数据平台
● 对于缺失数据和外部来源的大数据,建立一套相应的机制,保证后续持续有效的整合此类数据。
输出结果包括:
● 一个统一的大数据平台,能够持续整合和管理来自企业内外部的用户相关的所有数据资源。
● 一套技术与业务实施机制,确保数据整合和采集的可持续性和有效性。
在现有数据整合时,企业由于内部业务信息系统众多,且往往对应不同的IT开发商,为保证整合多业务系统数据的准确性和效率,本步骤的实施者,建议优先选择企业内部现有业务信息系统的核心IT开发商,或由企业的信息中心完成,注意:实施过程中需要有大数据架构与数据专家提供咨询和指导。
Step3用户标签化分析
本阶段工作对数据未来价值的影响最大。在实际的实施中不是一蹴而就的,是个长期递进的过程,需要根据业务变化和应用需要,不断优化和扩展用户标签体系。相关工作主要由熟悉行业的用户研究人员和数据挖掘/算法工程师根据企业业务的需要配合完成。
● 用户研究人员:基于全局的客户标签体系,对数据体现的用户行为进行深入研究和分析,并针对业务的需求,定义高应用价值的标签,并发现相关分析规则
● 数据挖掘/算法工程师:综合运用大数据技术(数据挖掘/机器学习等)方法,配合研究员进行挖掘,并完成标签分析的算法编程,使得大量标签的分析处理能以自动化方式来实现。
输出结果包括:
● 所有客户的标签化分析和描述结果。
● 特定客户群体/业务需求相关的深入分析报告。
Step4业务实际应用
由企业各部门人员完成,业务人员对step3中产生的客户标签分析结果,结合实际业务需求提取和分析所需要的内容,并在后续的业务活动(如针对所选择客户的广告宣传、营销..)和决策分析中进行应用。
为了便于实际使用,对Step 3 中的分析结果建立统一的应用分析平台,支持业务人员灵活筛选/分析所有客户的标签化属性,并能够提供更深入的研究报告和最新的可视化分析工具,以支持企业更多更深层次的数据应用。
对于业务人员,如果缺乏使用分析结果的思路和想法,可通过培训和案例拓展其思路。同时在使用之后,需要根据业务情况与数据研究人员交流和不断反馈,协助提升标签分析模型的精度。
Step5应用结果的反馈
在各部门使用数据开展业务后,需尽可能收集所接触客户的反馈结果。反馈结果的采集内容要参照全局数据体系的定义,通过便捷的电子化形式(如二维码问卷)完成和提交。这种反馈的闭环机制,可有效避免长期以来对客户实际感知的断裂,能有效提升用户标签化画像的准确度与后续应用价值。我们的一家外资药品企业客户,已经开始进行相关尝试,收到了良好的效果。
二、要注意的问题和解决方法
企业内部大数据整合挖掘与应用,当前已经受到许多行业内的领头企业的关注,并开始尝试。但由于缺乏体系化的思路和经验,遇到不少困难。企业在进行计划相关实施时,首先要注意如下问题:
1、建设思路与实施者的选择
从前面的阐述可以发现,内部大数据整合与应用挖掘,本质是用户深入研究与相关应用。不仅数据组织和标签体系,甚至IT相关的数据平台整合与建设,也遵循用户研究的思路来完成。用户研究/大数据挖掘技术(如数据挖掘/算法)人员是实施的核心团队。
遗憾的是,在我们接触的一些企业中,建设思路仍有很大偏差。有的仍然遵循IT系统建设的思路,认为应由IT企业来完成此事。实际上,IT企业并不具备实施中最重要的用户研究/数据挖掘等专业能力(其更适合step2/4所需的相关IT平台的开发)。而有的企业则认为这是CRM业务的延伸,适合CRM服务商完成。这也是不对的,CRM数据 /业务只是企业用户大数据/应用中的子集,CRM人员是用户研究结果的应用者而不是建立者。