美团数据挖掘工程师分析企业大数据

责任编辑：一三 |来源：企业网D1Net 2014-01-26 15:52:12 本文摘自：CSDN

本周的云热点，关注点有：阿里巴巴资深专家详细解析分布式系统的事务处理经典问题及模型，美团网从事数据开发和挖掘工作的梁堰波分析如何让大数据在企业当中发挥价值，AWS启动大规模降价(其中部分产品降幅达到50%)，还有IBM 斥资12亿美元在全球建造数据中心。云计算再掀创业热潮，19家企业入驻微软创投，爱奇艺运营副总裁详细谈了他们是如何挖掘5.5亿用户数据价值的。下面我们来详细梳理一下本周的热点云资讯：

1. 深入解析：分布式系统的事务处理经典问题及模型

分布式系统需要在数据完整、一致性和性能间做平衡。阿里巴巴北京研发中心、商家业务部任资深专家陈皓在《分布式系统的事务处理》一文详细介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Paxos，以及Dynamo的NRW和VectorClock的模型。

Two Generals Problem 两将军问题是这么一个思维性实验问题：有两支军队，它们分别有一位将军领导，现在准备攻击一座修筑了防御工事的城市。这两支军队都驻扎在那座城市的附近，分占一座山头。一道山谷把两座山分隔开来，并且两位将军唯一的通信方式就是派各自的信使来往于山谷两边。不幸的是，这个山谷已经被那座城市的保卫者占领，并且存在一种可能，那就是任何被派出的信使通过山谷是会被捕。请注意，虽然两位将军已经就攻击那座城市达成共识，但在他们各自占领山头阵地之前，并没有就进攻时间达成共识。两位将军必须让自己的军队同时进攻城市才能取得成功。因此，他们必须互相沟通，以确定一个时间来攻击，并同意就在那时攻击。如果只有一个将军进行攻击，那么这将是一个灾难性的失败。这个思维实验就包括考虑将军如何去做这件事情。

2. 一位数据挖掘工程师眼中的“大数据与企业的数据化运营”

现于美团网从事数据开发与挖掘工作的梁堰波对一个企业如何让大数据发挥出价值，推动企业业绩的增长做了一个非常全面的分析。梁堰波毕业于北京航空航天大学计算机硕士专业，之前曾工作于VMware、百度、法国电信研发中心等多家知名机构。大数据在改造传统企业中能发挥多大的力量，怎么样才能发挥更大的力量，他谈了自己的观点。

1.以用户和业务为核心，以思路为重点，以数据挖掘技术为辅助

2.小步快跑，快速迭代，持续优化

3.用户的反馈很重要，要积极调动用户的参与度

4.从运营驱动到数据驱动

5.业务人员和数据挖掘人员的密切配合

6.与客户的沟通方式(运营手段)很重要

7.大数据带来的价值如何衡量

大数据的短期回报是精准营销，而从长期的角度来看对于一个企业或者平台来说更重要的是客户关系维护，增加用户的粘性和购买力，从而使得用户很难迁移到其他平台上，所以说大数据的价值可以在产品的各个层次得到体现，而具体价值的衡量也要因不同的业务模式而有所不同。同时大数据也帮助企业更好的理解这个行业，建立起行业的壁垒，从而更好的支撑管理者的决策。

3. AWS启动大规模降价，引领行业降价潮流

Amazon周二公有云主管宣布启动一揽子降价措施，在某些情况下,标准的EBS和I/O请求方面的降价幅度高达50%。S3的降幅也达到22%，保守估计，这是自8年前发布服务以来第40次价格调整。

从Amazon公司得知，新的大中型M3通用实例是基于Intel Xeon Sandy Bridge 或Ivy Bridge 处理器。与老的M1实例相比，M3实例提供更快的时钟频率，更好的内存性能和基于SSD的存储。

Amazon继续其降价政策以及升级其产品性能，但是他的竞争对手们绝不会坐以待毙，IBM上周也吹响了进攻的号角，宣布投资12亿美元在全球建造云数据中心，同时业界新贵Digital Ocean公司也宣称将提供性价比更高的云产品，同时还有更人性化的包装。

4. 大数据整理：囊括分片、存储方法、扩展等多个方面

从OLTP及OLAP到数据分片，再到扩展性及相关NoSQL盘点，Krishna在其个人博客上分享了一篇全面的大数据科普文，其中包括众多有益的链接。Krishna本身精通Java、Scala等多门语言，拥有多年的互联网开发经验。他认为，对比昂贵及很容易达到瓶颈的纵向扩展，廉价的无共享及集群架构显然更适合当下的大数据处理。

5. IBM斥资12亿美元，全球大规模扩建数据中心

目前云计算业务还处于增长期，IBM预测全球云服务市场规模2020年将达到2000亿美元，其日前宣布将斥资12亿美元，在五大洲新建15个数据中心，未来IBM在全球范围内的数据中心数量将达到40个，覆盖15个国家。

IBM此举是为了增强在与亚马逊Web Services云服务(简称AWS)竞争中的筹码，后者目前在云计算领域可供租赁的计算能力是其他厂商的5倍以上，而来自市场研究机构Gartner的分析称，目前亚马逊云计算业务的营收为30亿美元，占公司总营收的5%。目前亚马逊的AWS服务的数据中心一共有8个，其中有3个位于美国境内，其余的则分别位于爱尔兰、日本、澳大利亚、巴西和中国。

6. 云计算再掀创业热潮，19家企业入驻微软创投

2014年1月13日，微软创投加速器三期初创企业展示日在北京举行。同时，微软创投加速器第四期创业团队名单也于今日正式宣布，入选的19家初创企业于1月中旬入驻微软亚太研发集团总部大楼。第四期项目将为期6个月，自2014年1月起至2014年7月结束。

在第四期初创企业招募中，共有420家创业团队申报微软创投加速器项目。经过层层筛选，最终有19家团队脱颖而出，他们的创业方向涵盖了多个领域，如：面向金融领域的股票模拟应用与互联网金融服务平台;面向城市生活的消费电子与智能家居及保健产品;面向交通行业的物联网应用与模式创新; UGC视频移动端服务与自媒体广播;面向娱乐与明星数字经纪和版权内容云服务平台，以及面向各行各业的大数据可视化解决方案。

7. 物联网，下一个云计算市场

智能对象的功能变化仅仅是物联网革命潜能的一小部分。智能对象将被赋予传感器，然后它将数据回传到云平台进行分析。在数以百万计的不同节点上有大量的数据流，我们拥有的关于世界多样性和精确性知识也将会爆炸式增长。云技术是唯一能适合过滤、分析、存储和访问信息的有效途径。