【1】Hadoop框架核心：MapReduce、HDFS。 【2】Hadoop单机部署 【3】伪分布式部署 【4】eclipse-hadoop 插件问题汇总 【5】ubuntu16.04部署hadoop2.9集群 【6】配置hadoop集群HA
【1】Hadoop框架核心：MapReduce、HDFS。 【2】Hadoop单机部署
#本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。 1.安装ssh sudo apt-get install ssh sudo apt-get install rsync #远程数据同步工具 2.下载hadoop安装包 https://mirror.bjtu.edu.cn/apache/hadoop/common/stable/ 3.解压安装包，并配置环境变量。 export JAVA_HOME=/opt/jdk1.8 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$PATH export HADOOP_HOME=/opt/hadoop-2.9.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 4.运行MapReduce程序(运行hadoop自带的wordcount例子) bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount /opt/data/wc.input output bin/hadoop jar share/hadoop/mapreduce