2020.9.4课堂笔记(使用idea连接HDFS)

Java与hadoop交互

1、Configuration cfg=new Configuration(); 2、cfg.set(“fs.defaultFS”,“hdfs://ip地址:9000”); 3、获取文件系统：FileSystem fs=FileSystem.get(cfg); 1~3合起来的写法，与HDFS文件系统建立连接： FileSystem fs=FileSystem(new URI(“hdfs://ip地址:9000”),new Configuration(),“root”); 4 获取hdfs路径 FSDATAInputStream fsis=fs.open(“hdfs上的文件路径”); 5、查看流

在IDEA中如何给main方法args[]传递参数： Run->EditConfigurations->Program arguments: 参数与参数之间用空格分隔，参数传递进来的值需要加双引号 如图所示： args[0]="/test/java/hdfs-test/README1.txt" args[1]=“Hello.txt”

从HDFS读取数据：

public class TestHDFS { public static void main(String[] args) throws Exception{ //与HDFS文件系统建立连接 Configuration conf=new Configuration(); conf.set("fs.defaultFS","hdfs://192.168.237.101:9000"); FileSystem fs=FileSystem.get(conf); //获取HDFS路径 FSDataInputStream fis = fs.open(new Path(args[0])); //查看流 int tmp; while ((tmp=fis.read())!=-1){ System.out.print((char)tmp); } fis.close(); } }

建立连接的第二种写法，在有些情况下系统会调用localhost系统用户，用这种写法可以把root用户写在语句里：

FileSystem fs=FileSystem(new URI("hdfs://192.168.237.101:9000"),new Configuration(),"root");

输出测试结果报错的处理：

报错信息：

ERROR util.Shell : Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoo binaries.

解决方案： 在window环境下配置安装hadoop 1.使用管理员权限解压hadoop.tar.gz文件，当前使用的版本： hadoop-2.6.0-cdh5.14.2.tar.gz （注：解压软件的管理员权限获得，先找到解压软件的安装目录，然后右键，使用管理员权限运行解压软件的exe运行程序，举例7-zip 安装目录：D:\Program Files\7-Zip，右键管理员身份运行7zFM.exe） 2.解压hadoopBin.rar文件至hadoop安装路径的bin目录下 3.复制bin目录下的hadoop.dll文件至C:\Windows\System32目录下 4.配置hadoop环境变量： %HADOOP_HOME%=hadoop的安装路径 在PATH变量中添加：%HADOOP_HOME%\bin %HADOOP_HOME%\sbin 5.重启电脑即可解决报错问题

在HDFS创建文件夹：

public class TestHDFS { public static void main(String[] args) throws Exception{ Configuration conf=new Configuration(); conf.set("fs.defaultFS","hdfs://192.168.237.101:9000"); FileSystem fs=FileSystem.get(conf); fs.mkdirs(new Path("/hello/nihao/feichanghao")); } }

报错：

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=chaokeaimuzhi, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

获取了当前系统的username,应该使用替代写法

public class TestHDFS { public static void main(String[] args) throws Exception{ FileSystem fs=FileSystem.get(new URI("hdfs://192.168.237.101:9000"),new Configuration(),"root") fs.mkdirs(new Path("/hello/nihao/feichanghao")); } }

在HDFS中删除文件/文件夹

public class TestHDFS { public static void main(String[] args) throws Exception{ FileSystem fs=FileSystem.get(new URI("hdfs://192.168.237.101:9000"),new Configuration(),"root") //删除文件 fs.deleteOnExit(new Path("/test/java/hdfs-test/README.txt")); //删除文件夹 fs.deleteOnExit(new Path("/hello")); } }

将本地文件写入HDFS

public class TestHDFS { public static void main(String[] args) throws Exception{ FileSystem fs=FileSystem.get(new URI("hdfs://192.168.237.101:9000"),new Configuration(),"root"); //copy从本地文件复制到HDFS //参数(src,dst)将src的文件内容复制到dst文件 fs.copyFromLocalFile(new Path(args[1]),new Path(args[0])); } }

报错：INFO fs.FSInputChecker: Found checksum error: 查原因为：Hadoop在往hdfs上put file的时候，会进行校验。如果有对应的".XXXX.crc"文件，会与其进行比对校验。如果不对就会报上面这个错误。 crc文件是在getmerge文件夹的时候自动生成的，无参数可以关闭。 所以，修改了HadoopUtil，在put file之前check下crc文件是否存在 解决方案：存在同名crc文件则删掉。或者，使用不同的文件名。

从HDFS下载文件到本地

public class TestHDFS { public static void main(String[] args) throws Exception{ FileSystem fs=FileSystem.get(new URI("hdfs://192.168.237.101:9000"),new Configuration(),"root"); //参数(src,dst)将src的文件内容复制到dst文件 fs.copyToLocalFile(new Path(args[0]),new Path(args[1])); } }

使用Hadoop jar执行java的jar包

1、编写测试完成 2、打jar包的时候把main方法指定 3、编译生成jar包，把jar包上传至Linux 4、hadoop jar jar包的路径 main方法类的路径 参数列表 hadoop jar testhdfs.jar cn.kgc.kb09.hdfs.TestHDFS /test/java/hdfs-test/README.txt

File->Project Structure->Artifacts->"+"->JAR->from modules with dependences->选择main Class

->若已经生成过了要删除原来的jar包，并且删除META-INF文件夹-> apply->ok->Build->Build Artifacts->找到刚才生成的Artifact->Build 这时候jar包会出现在out文件夹生成的对应artifacts目录下

在hadoop中运行jar包的方法： hadoop jar jar包的路径 main方法类的路径 参数列表

hadoop jar testhdfs.jar cn.kgc.kb09.hdfs.TestHDFS /test/java/hdfs-test/README.txt