pyspark运行报错:pyspark.sql.utils.IllgalArgumentException

tech2026-04-19  0

在需要绕过hive启动spark时,报一下错误,可用。亲测有效!!!

hadoop 关闭安全模式

临时解决

hadoop dfsadmin -safemode leave

永久解决

cd /root/bigdata/hadoop/etc/hadoop

vi hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/root/bigdata/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/root/bigdata/hadoop/hdfs/data</value> </property> <!-- 添加下列代码 --> <property> <name>dfs.safemode.threshold.pct</name> <value>0</value> </property> <!-- end --> </configuration>

重启hadoop

最新回复(0)