YARN标签调度策略.docxVIP

YARN的节点标签 综述 节点标签是一个把具有相似特性的节点划分到一个组的方法，应用可以指定运行在具有特定标签的节点上。 节点分区（分组）： 一个节点只能有一个分区，因此一个集群可以通过节点分区换分成的若干个不相交的子集群。默认，节点数与DEFAULT?分区（partition=””）。 用户需要指定不同的队列使用每一个分区的多少资源。 有两种节点分区： Exclusive（独占式）：容器会分配给具有明确匹配分区名的节点（例如：请求partition=”x”的应用，容器将会分配给patition=“x”的节点；请求DEFAULT? partition的应用，容器将分配给DEFAULT? partition节点）。 Non-exclusive（非独占式）：如果一个分区是非独占的，它会共享空闲资源给请求默认分区的容器。 用户可以指定被每一个队列可以访问的标签集，一个应用仅能够使用这些节点标签的子集，这些标签必须可以被包含这个应用的队列所访问。 特性 节点标签支持下面的特性：每一个节点被分配一个标签，因此一个集群可以被划分为几个不相交的分区。 集群划分：每一个节点被分配一个标签，因此一个集群可以被划分为几个不相交的分区。 队列上节点标签的ACL权限控制：用户可以在每一个队列上设置可访问的标签，因此特定的队列只能访问对应标签的一些节点。 在资源请求中指定需要的节点标签，因此只有当节点具有相同标签的时候才会被分配资源。如果没有指定节点标签，相同的资源请求将只会分配到属于默认分区的节点。 可操作性： 节点标签和节点标签的映射可以通过重启RM来回复。 更新节点标签：在RM运行的时候管理员可以更新节点上的标签和队列上的标签。 配置 设置ResourceManager开启节点标签功能： 在yarn-site.xml中设置下面的属性： PropertyValueyarn.node-labels.fs-store.root-dir HYPERLINK hdfs://namenode:port/path/to/store/node-labels/ hdfs://namenode:port/path/to/store/node-labels/yarn.node-labels.enabledtrue 注意： 确保yarn.node-labels.fs-store.root-dir指定的路径存在，并且RM有权限访问。 如果用户想要把节点标签存储到本地文件系统中（取代HDFS）,可以这样指定： HYPERLINK file://home\\yarn\\node-label file:///home/yarn/node-label 给YARN添加或修改节点标签列表节点到标签的映射 添加集群节点标签列表： 添加节点标签：yarn rmadmin -addToClusterNodeLabels label_1(exclusive=true/false),label_2(exclusive=true/false) 如果不指定?“(exclusive=…)”, execlusive默认为true 给节点添加标签： 执行yarn rmadmin -replaceLabelsOnNode “node1[:port]=label1 node2=label2”，把label1添加到节点node1上，把label2添加到节点node2上，如果不指定port，会把标签添加到该节点上的所有NodeManagers?（一个节点可以在同的端口上运行多个NodeManagers）。 给调度器配置节点标签 Capacity Scheduler配置： PropertyValueyarn.scheduler.capacity.queue-path.capacity设置队列可以使用默认分区节点资源的百分比。每一个父属性的直接子属性的默认容量总和必须等于100yarn.scheduler.capacity.queue-path.accessible-node-labels管理员需要指定每一个队列可以访问的标签集，多个标签用逗号分隔，例如“hbase,storm”，意思是队列可以访问hbase和storm标签。所有的队列都可以访问没有打标签的节点，用户不必指定。如果用户没有指定该属性，它会继承父队列的该属性。如果用户想要明确的指定一个队列仅能够访问没有打标签的节点，只需要给该属性一个空值即可。yarn.scheduler.capacity.queue-path.accessible-node-labels.label.capacity设置队列可以访问属于某个标签的节点资源的百分比。每一个父属性的所有直接子属性的容量总和必须等于100yarn.sc