张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Intellij IDEA中file size exceeds configured limit解决

把Hadoop源码导入IDEA中后,其中有个YarnProtos 文件代码为3.28MB,IDEA直接就不把它当java类看了, 报file size exceeds configured limit错误。 解决办法如下: 你可以尝试修改intellij IDE安装目录下的bin...

2019-04-18 21:30:46

阅读数 69

评论数 0

hadoop 3.x 50070端口无法访问 端口变更为9870

原来是3.x 版本NameNode 50070端口 -> 9870端口了 所以把50070改成9870就可以了 NameNode -http://localhost:9870/ 官方文档截图: 单节点访问截图: ....

2019-04-08 10:00:13

阅读数 244

评论数 0

Hadoop3.2.0 编写YARN应用程序

目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster(AM) 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点? 我如何获得ApplicationMaster的ApplicationAtte...

2019-02-21 06:42:20

阅读数 733

评论数 0

Hadoop3.2.0 YARN Timeline Service

YARN时间线服务器 概观 部署 时间线服务器REST API V1 域名/ ws / v1 /时间线/域名 发布时间轴实体 时间线实体列表 时间线实体 时间线事件列表 关于 申请清单 应用 申请尝试清单 申请尝试 集装箱清单 容器 时间线服务器性能测试工具 概观 ...

2019-02-21 06:39:59

阅读数 854

评论数 0

Hadoop3.2.0 YARN Timeline Service v.2

Overview Introduction Architecture Current Status and Future Plans Deployment Configurations Enabling Timeline Service v.2 Upgrade from ...

2019-02-21 06:39:50

阅读数 720

评论数 0

Hadoop3.2.0 Web应用程序代理

概述 介绍 当前状态 部署 配置 运行Web应用程序代理 概述 介绍 Web应用程序代理是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为在独立模式下运行。代理的原因是通过YARN降低基于Web的攻击的可能性。 在YARN中,Appli...

2019-02-21 06:39:37

阅读数 561

评论数 0

Hadoop3.2.0 YARN资源配置

概观 YARN支持可扩展的资源模型。默认情况下,YARN会跟踪所有节点,应用程序和队列的CPU和内存,但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源,但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。 此外,YARN还支持使用...

2019-02-21 06:39:31

阅读数 701

评论数 0

Hadoop3.2.0 YARN ResourceManager HA

介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍 本指南概述了YARN ResourceManager的高可用性,并详细介绍了如何配置和使用此功...

2019-02-21 06:39:11

阅读数 584

评论数 0

Hadoop3.2.0 YARN ResourceManager restart

概述 特征 配置 启用RM重启 配置状态存储以保持RM状态 如何选择州商店实施 基于Hadoop FileSystem的状态存储实现的配置 基于ZooKeeper的状态存储实现的配置 基于LevelDB的状态存储实现的配置 保持工作的RM恢复配置 笔记 示例配...

2019-02-20 11:38:16

阅读数 624

评论数 0

Hadoop3.2.0 YARN CGroup

CGroups配置 CGroups挂载选项 CGroups和安全 CGroups是一种机制,用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能,并且已合并到内核版本2.6.24中。从YARN的角度来看,这允许容器的资源使用受到限制。一个很好的例子是...

2019-02-20 11:25:12

阅读数 567

评论数 0

Hadoop3.2.0 YARN Fair Scheduler

Hadoop:Fair Scheduler 目的 介绍 具有可插入策略的分层队列 自动将应用程序放入队列中 安装 组态 可以放在yarn-site.xml中的属性 分配文件格式 队列访问控制列表 预订访问控制列表 配置ReservationSystem 管理 ...

2019-02-20 11:18:21

阅读数 515

评论数 0

Hadoop3.2.0 YARN 容量调度程序

Hadoop:容量调度程序 目的 概观 特征 配置 设置ResourceManager以使用CapacityScheduler 设置队列 队列属性 设置应用程序优先级。 Capacity Scheduler容器抢占 预订属性 使用CapacityScheduler...

2019-02-20 10:57:08

阅读数 524

评论数 0

Hadoop3.2.0 YARN 命令

Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administr...

2019-02-20 09:12:18

阅读数 582

评论数 0

Hadoop3.2.0 YARN 简介

YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager...

2019-02-20 09:12:11

阅读数 550

评论数 0

Hadoop3.2.0 HDFS DataNode管理员指南

概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量 概观 Hadoop分布式文件系统(HDFS)名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性,指示节点是活的,死的还是陈旧的。第二种类型描述了管理状态,指示节点是在...

2019-02-20 09:12:03

阅读数 126

评论数 0

Hadoop3.2.0 HDFS磁盘平衡器

概述 建筑 命令 计划 执行 询问 取消 报告 设置 调试 概述 Diskbalancer是一个命令行工具,可以在datanode的所有磁盘上均匀分配数据。此工具与Balancer不同, 后者负责集群范围的数据平衡。由于多种原因,数据在节点上的磁盘之间可能存在不均匀...

2019-02-20 09:11:54

阅读数 73

评论数 0

Hadoop3.2.0 HDFS擦除编码

目的 背景 建筑 部署 群集和硬件配置 配置键 启用Intel ISA-L 管理命令 限制 目的 复制很昂贵 - HDFS中的默认3x复制方案在存储空间和其他资源(例如,网络带宽)中具有200%的开销。但是,对于I / O活动相对较低的暖和冷数据集,在正常操作期间很少访...

2019-02-20 09:11:40

阅读数 278

评论数 0

Hadoop3.2.0 (合成负载发生器指南) Synthetic Load Generator Guide

  概观 概要 测试空间人口 结构生成器 数据生成器 概观 合成负载生成器(SLG)是用于在不同客户端负载下测试NameNode行为的工具。用户可以通过指定读取和写入的概率来生成读取,写入和列表请求的不同混合。用户通过调整工作线程数量和操作之间的延迟参数来控制负载强度。在负载生成...

2019-02-20 09:11:30

阅读数 50

评论数 0

Hadoop3.2.0 HDFS中的内存存储支持

介绍 管理员配置 限制用于内存中副本的RAM 在数据节点上设置RAM磁盘 选择tmpfs(vs ramfs) 安装RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 确保已启用存储策略 应用用法 使用LAZY_PERSIST存储策略 为目录调用hdfs stor...

2019-02-19 16:00:44

阅读数 234

评论数 0

Hadoop3.2.0 HDFS中的集中缓存管理

HDFS中的集中缓存管理 概述 用例 建筑 概念 缓存指令 缓存池 cacheadmin命令行界面 缓存指令命令 addDirective removeDirective removeDirectives listDirectives 缓存池命...

2019-02-19 15:53:50

阅读数 190

评论数 0

提示
确定要删除当前文章?
取消 删除