1）什么是元数据？ hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置）
2）元数据由谁负责管理？ Namenode
3）namenode把元数据记录在哪里？ Namenode的实时的完整的元数据存储在内存中； Namenode还会在磁盘中（dfs.namenode.name.dir）存储内存元数据在某个时间点上的镜像文件； Namenode会把引起元数据变化的客户端操作记录在edits日志文件中； Secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志，然后加载fsimage镜像到内存中，然后顺序解析edits文件，对内存中的元数据对象进行修改（整合） 整合完成后，将内存元数据序列化成一个新的fsimage，并将这个fsimage镜像文件上传给namenode 上述过程叫做：checkpoint操作
电脑画图软件手绘原理图如下：
mapreduce程序应该是在很多机器上并行启动，而且先执行map task，当众多的maptask都处理完自己的数据后，还需要启动众多的reduce task，这个过程如果用用户自己手动调度不太现实，需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN yarn集群中有两个角色： 主节点：Resource Manager 1台 从节点：Node Manager N台
Resource Manager一般安装在一台专门的机器上 Node Manager应该与HDFS中的data node重叠在一起
修改配置文件： yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>hdp-04</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>这里的yarn.resourcemanager.hostname值得是设置ResourceManager的主机名或Ip 然后将配置好的yarn-site.xml文件拷贝到其他集群
然后运行yarn集群，执行/sbin/start-all.sh或/sbin/start-yarn.sh命令即可启动集群，此时访问8088端口即可看到yarn集群的相关信息。
