张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Hadoop3.2.0 HDFS HA ( Quorum Journal Manager )

目的 注意:使用Quorum Journal Manager或常规共享存储 背景 架构 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 负载均衡器设置 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 ...

2019-02-19 14:15:19

阅读数 109

评论数 0

Hadoop3.2.0群集设置

目的 先决条件 安装 在非安全模式下配置Hadoop 配置Hadoop守护进程的环境 配置Hadoop守护进程 监控NodeManager的健康状况 slave 文件 Hadoop机架意识 记录 操作Hadoop集群 Hadoop启动 Hadoop关闭 Web...

2019-02-18 18:31:26

阅读数 1738

评论数 0

Intellij IDEA中file size exceeds configured limit解决

把Hadoop源码导入IDEA中后,其中有个YarnProtos 文件代码为3.28MB,IDEA直接就不把它当java类看了, 报file size exceeds configured limit错误。 解决办法如下: 你可以尝试修改intellij IDE安装目录下的bin...

2019-04-18 21:30:46

阅读数 117

评论数 0

hadoop 3.x 50070端口无法访问 端口变更为9870

原来是3.x 版本NameNode 50070端口 -> 9870端口了 所以把50070改成9870就可以了 NameNode -http://localhost:9870/ 官方文档截图: 单节点访问截图: ....

2019-04-08 10:00:13

阅读数 310

评论数 0

Hadoop3.2.0 HDFS HA ( NFS)

目的 注意:使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper...

2019-02-19 14:43:05

阅读数 797

评论数 0

Hadoop3.2.0 Hadoop 命令指南

Hadoop命令指南 概览 Shell 选项 Generic 选项 User Commands  用户命令 archive checknative classpath conftest credential distch distcp dtutil ...

2019-02-18 22:27:13

阅读数 59

评论数 0

Hadoop3.2.0 Hadoop 文件系统 shell命令指南

appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find ...

2019-02-18 22:49:17

阅读数 520

评论数 0

Hadoop3.2.0 Hadoop 机架感知

Hadoop组件具有机架感知功能。例如,通过将一个块的分片放在不同的机架上,HDFS块放置将使用机架感知来实现容错。这可以在群集中发生网络切换故障或分区时提供数据可用性。 Hadoop主守护进程通过调用配置文件指定的外部脚本或java类来获取集群工作者的机架ID。使用java类或外部脚本进行拓扑...

2019-02-18 23:26:19

阅读数 518

评论数 0

Hadoop3.2.0 HDFS命令指南

HDFS命令指南   概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oi...

2019-02-19 12:06:34

阅读数 905

评论数 0

Hadoop3.2.0 HDFS Federation

背景 多个名称节点/命名空间 主要优点 联合配置 组态: 格式化名称节点 从旧版本升级并配置联合 将新Namenode添加到现有HDFS集群 管理集群 启动和停止集群 平衡器 退役 群集Web控制台 本指南概述了HDFS联邦功能以及如何配置和管理联邦...

2019-02-19 14:58:24

阅读数 147

评论数 0

Hadoop3.2.0 HDFS 快照

HDFS快照 概观 Snapshottable目录 快照路径 使用快照升级到HDFS版本 快照操作 管理员操作 允许快照 禁止快照 用户操作 创建快照 删除快照 重命名快照 获取Snapshottable目录列表 获取快照差异报告...

2019-02-19 15:20:02

阅读数 63

评论数 0

Hadoop3.2.0 HDFS权限指南

概述 用户身份 组映射 许可检查 了解实施 对文件系统API的更改 对应用程序外壳的更改 超级用户 Web服务器 ACL(访问控制列表) ACL文件系统API ACL Shell命令 配置参数 概述 Hadoop分布式文件系统(HDFS)实现了共享大部分POSIX模型的文...

2019-02-19 15:26:35

阅读数 357

评论数 0

Hadoop3.2.0 HDFS中的集中缓存管理

HDFS中的集中缓存管理 概述 用例 建筑 概念 缓存指令 缓存池 cacheadmin命令行界面 缓存指令命令 addDirective removeDirective removeDirectives listDirectives 缓存池命...

2019-02-19 15:53:50

阅读数 212

评论数 0

Hadoop3.2.0 (合成负载发生器指南) Synthetic Load Generator Guide

  概观 概要 测试空间人口 结构生成器 数据生成器 概观 合成负载生成器(SLG)是用于在不同客户端负载下测试NameNode行为的工具。用户可以通过指定读取和写入的概率来生成读取,写入和列表请求的不同混合。用户通过调整工作线程数量和操作之间的延迟参数来控制负载强度。在负载生成...

2019-02-20 09:11:30

阅读数 55

评论数 0

Hadoop3.2.0 HDFS磁盘平衡器

概述 建筑 命令 计划 执行 询问 取消 报告 设置 调试 概述 Diskbalancer是一个命令行工具,可以在datanode的所有磁盘上均匀分配数据。此工具与Balancer不同, 后者负责集群范围的数据平衡。由于多种原因,数据在节点上的磁盘之间可能存在不均匀...

2019-02-20 09:11:54

阅读数 83

评论数 0

Hadoop3.2.0 HDFS DataNode管理员指南

概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量 概观 Hadoop分布式文件系统(HDFS)名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性,指示节点是活的,死的还是陈旧的。第二种类型描述了管理状态,指示节点是在...

2019-02-20 09:12:03

阅读数 153

评论数 0

Hadoop3.2.0 YARN 简介

YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager...

2019-02-20 09:12:11

阅读数 566

评论数 0

Hadoop3.2.0 YARN 命令

Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administr...

2019-02-20 09:12:18

阅读数 592

评论数 0

Hadoop3.2.0 YARN Fair Scheduler

Hadoop:Fair Scheduler 目的 介绍 具有可插入策略的分层队列 自动将应用程序放入队列中 安装 组态 可以放在yarn-site.xml中的属性 分配文件格式 队列访问控制列表 预订访问控制列表 配置ReservationSystem 管理 ...

2019-02-20 11:18:21

阅读数 518

评论数 0

Hadoop3.2.0 YARN CGroup

CGroups配置 CGroups挂载选项 CGroups和安全 CGroups是一种机制,用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能,并且已合并到内核版本2.6.24中。从YARN的角度来看,这允许容器的资源使用受到限制。一个很好的例子是...

2019-02-20 11:25:12

阅读数 587

评论数 0

提示
确定要删除当前文章?
取消 删除