张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Hadoop3.2.0 源码分析: namenode 启动

通过脚本启动 namenode 的时候,不管怎么样都会调用NameNode 类. 至于脚本怎么调用的自行查看一下脚本: bin/hdfs libexec/hadoop-functions.sh 输出 debug 模式下 shell 脚本日志: /Library/java/Java...

2019-04-23 18:59:55

阅读数 120

评论数 0

Hadoop3.2.0 源码分析: datanode 启动

通过脚本启动 namenode 的时候,不管怎么样都会调用DataNode 类. 至于脚本怎么调用的自行查看一下脚本: bin/hdfs libexec/hadoop-functions.sh 输出 debug 模式下 脚本日志: /Library/Java/JavaVirtua...

2019-04-23 18:59:26

阅读数 83

评论数 0

Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式

在调试代码的时候,需要用到 hadoop 的 debug 模式. 所有做了一下记录: 打开 DEBUG 模式: export HADOOP_SHELL_SCRIPT_DEBUG=true 如果不好用,直接调整函数代码,把判断去掉即可 : 启动脚本的时候输出的日志: ...

2019-04-23 18:24:25

阅读数 35

评论数 0

Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler 理论

特点 以队列为单位划分资源,每个队列可设定一定比例的资源最低保证和使用上限,同时,每个用户也可设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其他队列。总之,Capacity Scheduler主要有以下几个特点: 容量保证:管理员可为每个队列设置资源最...

2019-04-23 14:05:06

阅读数 40

评论数 0

Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler

在上一节中,只是讲解了ResourceManager 的启动,这次来说另外一个核心的点没说,那就是调度. // Initialize the scheduler // todo ResourceScheduler 调度器的创建,他的子类之一就是FairScheduler schedule...

2019-04-23 06:57:57

阅读数 30

评论数 0

Hadoop3.2.0 源码分析: Container 之 DefaultContainerExecutor 与 LinuxContainerExecutor

在yarn 里面Container 是可选的.本文介绍以下两种: DefaultContainerExecutor LinuxContainerExecutor 由配置参数控制: yarn.nodemanager.container-executor.class 有NodeManager初...

2019-04-22 16:36:15

阅读数 70

评论数 0

MAC版本: Hadoop3.2.0 源码编译 [ 二 ]

MAC版本,Hadoop3.2.0 提供了 docker 编译的方式. 构建方式非常简单, 不过首先你要先安装好 docker. 1.安装 docker (自行安装) 需要设置一下共享目录: 2.运行:start-build-env.sh 等待构建完成. 安装成...

2019-04-19 00:02:01

阅读数 134

评论数 0

Hadoop3.2.0 源码分析: NodeManager

概念 NodeManager(NM)是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点,包括与ResourceManger保持通信,监督Container的生命周期管理,监控每个Container的资源使用(内存、CPU等)情况,追踪节点健康状况,管理日志和不同应用程序用到的附属...

2019-04-18 15:16:09

阅读数 35

评论数 0

Hadoop3.2.0 源码分析: ResourceManager启动

概述 相信开始看源码的你,正在一点点的进入知识的殿堂,一起挖掘吧. ResourceManager 是Yarn 的资源调度中心,很重要,所有的资源申请都需要通过ResourceManager来调度. The ResourceManager is the main class tha...

2019-04-18 11:50:15

阅读数 29

评论数 0

Hadoop3.2.0 源码编译 [一]

1.软件包 版本:hadoop-3.2.0 链接:https://pan.baidu.com/s/1wo8ysbGcHw5haOfKyKaEKA 密码:ygxj 2.环境准备: * Unix System * JDK 1.8 * Maven 3.3 or lat...

2019-04-13 09:47:26

阅读数 259

评论数 2

提示
确定要删除当前文章?
取消 删除