近日，第八届全球Hadoop技术峰会在美国加州硅谷召开。作为全球规模最大的Hadoop盛会，本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上，多家企业进行了Hadoop技术相关的报告。其中，很多企业谈到了开源容器引擎Docker对Hadoop的影响。接下来，本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData公司产品部的副总裁Anant Chintamaneni给出了“利用Apache Ambari进行自助配置和Hadoop管理”的报告。该公司由VMware公司的资深元老Kumar Sreekant 和 Tom Phelan在2012年创建。作为一家大数据框架软件的供应商，BlueData之前推出了EPIC软件平台。EPIC平台可以在任何硬件、任何服务器和任何存储环境下工作，简化大数据框架的部署工作。其目标在于实现Hadoop在任何私有数据中心中的直接部署。这样，用户利用EPIC就可以解决I/O性能瓶颈问题，并实现在虚拟化框架中多用户和多租户的便捷管理。在EPIC平台的免费版EPIC Lite中，BlueData加入了对Docker容器的支持。它允许用户在笔记本电脑的Docker容器中启动虚拟Hadoop或者Spark集群。

Anant在报告中指出，EPIC选择支持Docker的主要原因在于，这种做法可以在保持容器简单性以及系统性能的同时，享受大数据应用程序虚拟化所带来的好处。BlueData公司试图让开发人员和数据专家可以非常容易的创建所需要的集群，从而获得类似于Cloudera或Hortonworks的功能。只要用户通过笔记本电脑访问Hadoop，享受了这其中所带来的好处，自然会申请使用支持多用户和多租户的企业版。MapR公司的产品管理部副总裁Tomer Shiran表示，随着越来越多的人喜欢Docker容器，像BlueData这样的公司把Docker加入到所支持的hypervisor中也越来越有意义。几天前，BlueData公司刚刚公布了EPIC 的夏季发布版——1.5版本。该版本集成了Apache Ambari和Cloudera Manager，能够支持新版本的Hadoop和Spark。

此外，作为一家Hadoop初创公司，Hortonworks共进行了十几场报告。其中，该公司软件工程师Sidharta Seethana与Altiscale公司的高级软件工程师Abin Shahab联合展示了一些把Docker融入到Apache Hadoop YARN的方案。作为一家“Hadoop即服务”(Hadoop-as-a-Service)方案的提供商，Altiscale之前已经决定在Docker容器中运行Hadoop。尽管这种做法需要在没有YARN支持的情况下直接管理Docker容器，该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks则采用了两种方法来利用Docker容器运行Hadoop。第一种方法是用Docker来直接运行Hadoop。目前，这种做法需要用到Cloudbreak和Hortonworks Data Platform(HDP)。通过使用Docker镜像，它可在微软Azure、亚马逊AWS、谷歌云平台等任何主流云平台上启动HDP。第二种方法是通过YARN来使用Docker容器进行应用部署。HDP2.2版本的技术预览中已经提到了该特性。

Hortonworks的产品管理部副总裁Tim Hall表示，Docker提供了一种完美隔离和打包Hadoop相关的应用程序的方法。该公司也在观察Slider框架和Docker如何能够一起合作来简化此类的部署工作。目前，Hortonworks的一个客户已经在考虑他们自己的数据平台利用HDP支持Docker的方法。他们利用Cloudbreak在云中的Docker容器中部署Hadoop，并计划把他们自己的数据应用程序制作成Docker镜像以便在YARN上运行。此外，很多用户也因为这种方式的敏捷性和兼容性，利用其进行未知环境的部署。

Hall指出，与传统的在虚拟机或者OpenStack中使用Hadoop相比较，在Docker中运行Hadoop的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在YARN中运行Docker化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外，Hall透露，大数据应用的开发人员越来越倾向于利用Docker来运行其应用程序。而且，直接在裸机上运行Docker的趋势也越来越明显。

感谢郭蕾对本文的审校。