这篇文章主要分享从技术角度思考hadoop到底是什么?，通过本文您将了解到hadoop，什么的相关内容，下面开始文章正文。

从技术角度看hadoop

那么我说一下什么是hadoop： 适合海量数据的分布式存储与计算平台

什么是海量数据呢?一般情况下1T以上的我们称之为大数据，但是它大不一定是大数据，我们还要看它是什么样的架构方式。

hadoop的核心项目：

HDFS (分布式文件系统)，它负责存储。

MAPreduced(平行计算框架)，这是我们需要好好研究的，(核心问题)

那么何为分布式呢?大家直到“分布”的意思吧，就是一片，我的理解是文件系统分布在不同的计算机上。

那么什么是平行计算呢?利用一定的算法，让惊醒计算的代码在不同的甲酸机上同时进行程序的一部分，然后把美哦个计算机的结构收集有规律的整合，然后得到我们想要的运算结果

那么介绍一下HDFS的主从架构

主节点只有一个：namenode

从节点有好多：datanodes

namenode负责：(负责管理)

接受用户操作请求

维护文件爱你系统的目录结构

管理文件与block之间的关系，block与datanode之间的关系

datanode负责：(负责具体的执行)

文件被分为block存储在磁盘上

为保证数据安全文件有很多副本，副本的作用，副本自动切换当出现问题的时候，很好的一个作用

MapReduce的主从架构

主节点：只有一个JobTrackcer

从节点：有多个TaskTrackers

JobTrackcer负责：

手机客户提交的计算任务

把计算任务分给TaskTrackers执行

监控TaskTrackers的执行情况

TaskTrackers负责

执行JobTrackcer分配的计算任务

hadoop的优点：