hadoop集群部署出错，求帮助
发布网友
发布时间：2022-04-20 11:52
共1个回答
热心网友
时间：2023-07-10 13:04
解决方法:先安装好hadoop
解决方法：host配置正确，/etc/sysconfig/network /etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0
解决方法：SSH配置错误导致，主机名一定要严格匹配，重新配置ssh免密码登录
5、建议：不要随意格式化HDFS，这会带来数据版本不一致等诸多问题，格式化前要清空数据文件夹
解决方法：sshd被关闭或没安装导致，which sshd检查是否安装，若已经安装，则sshd restart，并ssh 本机hostname，检查是否连接成功
解决方法：在yarn-site.xml中增加相应配置，以支持日志聚合
解决方法：yarn-lient模式出现的异常，暂时无解
解决方法：windows系统不能解析域名所致，把hosts文件hostname复制到windows的hosts中
10、建议：HDFS文件路径写法为：hdfs://master:9000/文件路径，这里的master是namenode的hostname,9000是hdfs端口号。
解决方法：将 http://:19888/jobhistory/logs 配置到yarn-site.xml中，重启yarn和JobHistoryServer
解决方法：namonode节点终端执行：hdfs dfs -chmod -R 755 /
13、建议：提交到yarn cluster的作业不能直接print到控制台，要用log4j输出到日志文件中
解决方法：1.把UTF改成小写utf-8 2.设置编码那行有空格
解决方法：资源不能分配过大,或者没有把.setMaster("local")去掉
解决方法：通过三节点zookeeper集群和yarn-site.xml配置文件完成Yarn HA
解决方法：恢复Yarn Http默认端口8088
解决方法：配置文件不正确，例如hostname不匹配等
解决方法：find / -type f -size +10G
解决方法：运行指令hdfs balancer -Threshold 3 或者 运行 start-balancer.sh 脚本格式：$Hadoop_home/bin/start-balancer.sh -threshold，参数3是比例参数，表示3%，也就是平各个DataNode直接磁盘使用率偏差在3%以内
21、建议：数据倾斜只发生在shuffle过程，可能触发shuffle操作的算子有：distinct groupByKey receByKey aggregateByKey join cogroup repartition等
解决方法：yarn-site.xml配置有问题，检查并规范各项配置
解决方法：Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，它们的日志位置如下：ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log，NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log
24、建议：小于128M的小文件都会占据一个128M的BLOCK，合并或者删除小文件节省磁盘空间
解决方法：1）清除hadoop数据目录中用户缓存文件：cd /data/hadoop/storage/tmp/nm-local-dir/usercache; -h;rm -rf `find -type f -size +10M`; 2）清理Linux文件系统中的垃圾数据
解决方法：cd /etc/profile.d;在这里新建相应配置脚本
解决方法：未启动的节点缺少yarn相关包，要保持所有节点jar包一致
fs.trash.interval
2880
HDFS垃圾箱设置，可以恢复误删除，配置的值为分钟数，0为禁用
恢复文件执行 hdfs dfs -mv /user/root/.Trash/Current/误删文件 /原路径
解决方法：Linux脚本修改后实时生效，务必在脚本全部执行完再修改，以免产生副作用
