Hadoop3.2.0 YARN资源配置

概观

YARN支持可扩展的资源模型。默认情况下,YARN会跟踪所有节点,应用程序和队列的CPU和内存,但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源,但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。

此外,YARN还支持使用“resource profiles”,允许用户通过单个配置文件指定多个资源请求,类似于Amazon Web Services Elastic Compute Cluster实例类型。例如,“large”可能意味着8个虚拟内核和16GB RAM。

组态

支持以下配置属性。请参阅下文了解详情。

yarn-site.xml

配置属性 描述
yarn.resourcemanager.resource-profiles.enabled 指示是否启用资源配置文件支持。默认为false。

资源的types.xml

配置属性 描述
yarn.resource-types 逗号分隔的附加资源列表。可能不包括内存,内存-mb或vcores
yarn.resource-types.<resource>.units 指定资源类型的默认单位
yarn.resource-types.<resource>.minimum-allocation 指定资源类型的最小请求
yarn.resource-types.<resource>.maximum-allocation 对指定资源类型的最大请求

节点resources.xml中

配置属性 描述
yarn.nodemanager.resource-type.<resource> 节点管理器中可用的指定资源的数量

请注意,如果使用了resource-types.xml和node-resources.xml文件,则还需要将它们放在与yarn-site.xml相同的配置目录中。或者,可以将属性放入yarn-site.xml文件中。

YARN资源模型

Resource Manager

资源管理器是跟踪集群中哪些资源的最终仲裁者。资源管理器从XML配置文件加载其资源定义。例如,要定义除CPU和内存之外的新资源,应配置以下属性:

<configuration>
  <property>
    <name>yarn.resource-types</name>
    <value>resource1,resource2</value>
    <description>
    The resources to be used for scheduling. Use resource-types.xml
    to specify details about the individual resource types.
    </description>
  </property>
</configuration>

有效的资源名称必须以字母开头,并且只包含字母,数字和以下任何内容: ‘.’, ‘_’, or ‘-’.   有效的资源名称也可以选择在名称空格后跟斜杠。有效的名称空间由以句点分隔的字母,数字和短划线组成。例如,以下是有效的资源名称:

  • myresource
  • my_resource
  • My-Resource01
  • com.acme/myresource

以下是无效资源名称的示例:

  • 10myresource
  • my resource
  • com/acme/myresource
  • $NS/myresource
  • -none-/myresource

对于定义的每个新资源类型,可以添加可选的单元属性以设置资源类型的默认单位。有效值为:

该属性必须命名为yarn.resource-types.<resource>.units. 每个定义的资源也可以具有可选的最小和最大属性。属性必须命名为yarn.resource-types.<resource>.minimum-allocation  yarn.resource-types.<resource>.maximum-allocation 

所述yarn.resource-types  属性和任何单元,mimimum,或最大性能可以以通常的定义yarn-site.xml文件或在一个文件名为  resource-types.xml 。例如,以下任何一个文件都可能出现:

<configuration>
  <property>
    <name>yarn.resource-types</name>
    <value>resource1, resource2</value>
  </property>

  <property>
    <name>yarn.resource-types.resource1.units</name>
    <value>G</value>
  </property>

  <property>
    <name>yarn.resource-types.resource2.minimum-allocation</name>
    <value>1</value>
  </property>

  <property>
    <name>yarn.resource-types.resource2.maximum-allocation</name>
    <value>1024</value>
  </property>
</configuration>

Node Manager

每个节点管理器独立定义该节点可用的资源。资源定义是通过为每个可用资源设置属性来完成的。该属性必须命名为yarn.nodemanager.resource-type.<resource> ,并且可以放在通常的yarn-site.xml文件或名为noderesources.xml的文件中。属性的值应该是节点提供的资源量。例如:

<configuration>
 <property>
   <name>yarn.nodemanager.resource-type.resource1</name>
   <value>5G</value>
 </property>

 <property>
   <name>yarn.nodemanager.resource-type.resource2</name>
   <value>2m</value>
 </property>

</configuration>

请注意,用于这些资源的单位不需要与资源管理器持有的定义匹配。如果单位不匹配,资源管理器将自动进行转换。

使用MapReduce的资源

MapReduce从YARN请求三种不同类型的容器:master container, map containers, 和 reduce containers 。对于每种容器类型,都有一组相应的属性可用于设置所请求的资源。

在MapReduce中设置资源请求的属性是:

属性 描述
yarn.app.mapreduce.am.resource.mb 将应用程序主容器请求的内存设置为以MB为单位的值。不再是首选。请改用yarn.app.mapreduce.am.resource.memory-mb。默认为1536。  即  1.5G
yarn.app.mapreduce.am.resource.memory 将应用程序主容器请求的内存设置为以MB为单位的值。不再是首选。请改用yarn.app.mapreduce.am.resource.memory-mb。默认为1536。  即  1.5G
yarn.app.mapreduce.am.resource.memory-mb 将应用程序主容器请求的内存设置为以MB为单位的值。默认为1536。   即  1.5G 
yarn.app.mapreduce.am.resource.cpu-vcores 将应用程序主容器请求的CPU设置为该值。不再是首选。请改用yarn.app.mapreduce.am.resource.vcores。默认为1。
yarn.app.mapreduce.am.resource.vcores 将应用程序 master container 请求的CPU设置为该值。默认为1。
yarn.app.mapreduce.am.resource <resource> 将应用程序 master container 的<resource>请求的数量设置为该值。如果未指定单位,则假定资源的默认单位。请参阅上面的单位部分。
mapreduce.map.memory.mb 将所有 map task containers 请求的内存设置为以MB为单位的值。不再是首选。请改用mapreduce.map.resource.memory-mb。默认为1024。
mapreduce.map.resource.memory 将所有 map 任务容器请求的内存设置为以MB为单位的值。不再是首选。请改用mapreduce.map.resource.memory-mb。默认为1024。
mapreduce.map.resource.memory-mb 将所有 map master container  请求的内存设置为以MB为单位的值。默认为1024。
mapreduce.map.cpu.vcores 将所有 map master container  请求的CPU设置为该值。不再是首选。请改用mapreduce.map.resource.vcores。默认为1。
mapreduce.map.resource.vcores 将所有映射 map master container   请求的CPU设置为该值。默认为1。
mapreduce.map.resource <resource> 将所有 map master container  的<resource>请求的数量设置为该值。如果未指定单位,则假定资源的默认单位。请参阅上面的单位部分。
mapreduce.reduce.memory.mb 将所有reduce task container   请求的内存设置为以MB为单位的值。不再是首选。请改用mapreduce.reduce.resource.memory-mb。默认为1024。
mapreduce.reduce.resource.memory 将所有reduce task container 请求的内存设置为以MB为单位的值。不再是首选。请改用mapreduce.reduce.resource.memory-mb。默认为1024。
mapreduce.reduce.resource.memory-mb 将所有educe task container请求的内存设置为以MB为单位的值。默认为1024。
mapreduce.reduce.cpu.vcores 将所有reduce task container请求的CPU设置为该值。不再是首选。请改用mapreduce.reduce.resource.vcores。默认为1。
mapreduce.reduce.resource.vcores 将所有educe task container请求的CPU设置为该值。默认为1。
mapreduce.reduce.resource <resource> 将所有educe task container 的<resource>请求的数量设置为该值。如果未指定单位,则假定资源的默认单位。请参阅上面的单位部分。

请注意,YARN可以修改这些资源请求以满足配置的最小和最大资源值,或者是配置增量的倍数。参见yarn.scheduler.maximum-allocation-mb,yarn.scheduler.minimum-allocation-mb,yarn.scheduler.increment-allocation-mb,yarn.scheduler.maximum-allocation-vcores,yarn.scheduler.minimum-allocation-vcores 和 yarn.scheduler.increment-allocation-vcores   在YARN scheduler configuration 属性。

资源配置文件

资源配置文件为用户提供了一种简单的方法,可以使用单个配置文件请求一组资源,以及管理员管理资源使用方式的方法。

要配置资源类型,管理员必须在资源管理器的yarn-site.xml文件中设置yarn.resourcemanager.resource-profiles.enabled  ot true。此文件定义支持的配置文件。例如:

{
    "small": {
        "memory-mb" : 1024,
        "vcores" : 1
    },
    "default" : {
        "memory-mb" : 2048,
        "vcores" : 2
    },
    "large" : {
        "memory-mb": 4096,
        "vcores" : 4
    },
    "compute" : {
        "memory-mb" : 2048,
        "vcores" : 2,
        "gpu" : 1
    }
}

在此示例中,用户可以访问具有不同资源设置的四个配置文件。请注意,在计算配置文件中,管理员已配置了如上所述的其他资源。

请求个人资料

分布式shell是目前唯一支持资源配置文件的客户端。使用分布式shell,用户可以指定资源配置文件名称,该名称将自动转换为适当的资源请求集。

例如:

hadoop job $DISTSHELL -jar $DISTSHELL -shell_command run.sh -container_resource_profile small​​​​​​​

 

 

原文链接: https://hadoop.apache.org/docs/r3.2.0/

​​​​​​​

展开阅读全文

没有更多推荐了,返回首页