如何启动jobhistoryserver进程

发布网友发布时间：2022-04-23 19:27

共1个回答

热心网友时间：2023-10-14 21:36

Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：
mr-jobhistory-daemon.sh start historyserver 命令还启动。
由于前面有过一篇通过web查看job的运行情况的文章，文中介绍的是当作业在运行时，如何通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。
我在启动的时候出现错误：
mnvaild maxumum heap size :-Xmx1000
ERROR:could not create the java Virtual Machine 如下图所示：

通过查看执行的脚本mr-jobhistory-daemon.sh的内容，发现脚本文件中的内容并未涉及到maxumum heap size的问题，于是可能是脚本文件中调用的其他文件所导致的，如下图所示：

由于mapred-config.sh 脚本文件并未发现，因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件，如下图所示：

该文该中队jobhistoryserver的堆栈大小进行了设置，
HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M，因此在设置的时候不需要添加任何的单位，默认设置的值是1000，于是我将该值设置为100。再执行
mr-jobhistory-daemon.sh start historyserver
此时，执行historyserver启动成功，这时候就可以点击web页面上的job最右边的history的选项，进入作业历史运行界面，查看历史运行信息，包括：运行了多少个map，多少个rece，多少个counters等等。