yarn工作流程
发布网友
发布时间：2023-06-11 06:45
共1个回答
热心网友
时间：2024-12-03 13:59
yarn包括2个部分：一个是资源管理器，一个是节点管理器。前者主要负责整个集群的资源调度管理，后者主要负责服务器上的资源和任务管理。
资源管理器：包含2个部分-调度器和应用程序管理器。应用程序管理器负责应用程序的提交、监控应用程序运行状态等。
yarn的整个工作流程：
1、客户端向yarn提交应用程序
2、资源管理器进程和节点管理器进程通信，根据集群资源，为用户程序分配第一个容器，并将mp applicationmaster 分发到这个容器上面，并在容器内启动mp applicationmaster.
3、mp applicationmaster启动后立即向资源管理节点进程注册，并为自己的应用程序申请容器资源
4、mp applicationmaster申请到需要的容器后，立即和相应的节点管理器进程通信，将用户mp程序分发到节点管理器进程所在服务器，并在容器中运行，运行的就是mp或rece任务
5、mp或者rece任务在运行期间和mp applicationmaster通信，汇报自己的运行状态，如果运行结束，mp applicationmaster向资源管理器进程注销并释放所有的容器资源。
学习新知识的一个5-20-2法则：
5分钟时间了解这个新知识的特点、应用场景、要解决的问题
20分钟理解它的主要设计原理、核心思想和思路
2个小时去看关键的细节，尝试使用或做一个demo
