MapReduce的代码中关于Hadoop常见的错误

tech2024-07-24  50

MapReduce的完整运行是要靠Hadoop的正确安装的 接下来就是简单的介绍一下我在编写MapReduce程序的时候遇见的关于hadoop的错误 首先就是安装的问题,安装的话,这个就是注意你的配置环境变量问题 如果你的环境变量存在问题 他就可能会报 Failed to locate the winutils binary in the hadoop binary path这样的错误 这里的话,引进一个大佬的文章,教你如何完美的解决这个问题 https://blog.csdn.net/abc50319/article/details/80284741 记住,配置好了一定要重启 要么他就可能会给你报 No such file or directory这个错误 这是配置安装阶段 还有就是使用阶段 对于使用idea的小伙伴而言。创建MapReduce的项目,得用到Maven框架 ,这个Maven框架就有一个配置文件 pom.xml文件,这个文件是要写你想要什么样jar包或者其他的文件, 就如同以下这个pom.xml的代码

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>WordReduce</artifactId> <version>1.0-SNAPSHOT</version> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency> </dependencies>

我这里面有几个hadoop的配置信息

<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency>

里面的版本信息 这里的版本是必须要与你电脑已经配置的hadoop是要一致的,如果不一致,你的程序就可能会报错的 具体的错误我也记不清了,反正就是会报一种你的hadoop不存在的错误

最新回复(0)