张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Hadoop3.2.0群集设置

目的 先决条件 安装 在非安全模式下配置Hadoop 配置Hadoop守护进程的环境 配置Hadoop守护进程 监控NodeManager的健康状况 slave 文件 Hadoop机架意识 记录 操作Hadoop集群 Hadoop启动 Hadoop关闭 Web...

2019-02-18 18:31:26

阅读数 1738

评论数 0

Apache Hadoop 3.2.0 官方API常规 :单节点安装

Hadoop:设置单节点群集。 目的 先决条件 支持的平台 必备软件 安装软件 下载 准备启动Hadoop集群 独立操作 伪分布式操作 组态 设置passphraseless ssh 执行 YARN在单个节点上 全分布式操作 目的 本文档介绍如何设置...

2019-01-20 23:23:25

阅读数 1232

评论数 0

Hadoop3.2.0 YARN Timeline Service

YARN时间线服务器 概观 部署 时间线服务器REST API V1 域名/ ws / v1 /时间线/域名 发布时间轴实体 时间线实体列表 时间线实体 时间线事件列表 关于 申请清单 应用 申请尝试清单 申请尝试 集装箱清单 容器 时间线服务器性能测试工具 概观 ...

2019-02-21 06:39:59

阅读数 952

评论数 0

Hadoop3.2.0 HDFS命令指南

HDFS命令指南   概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oi...

2019-02-19 12:06:34

阅读数 905

评论数 0

hadoop配置自动清理日志

hadoop在运行时间长了之后,日志文件,会占用很大,极端情况,会导致硬盘满。影响业务的正常运行。 解决方式:   步骤一、修改core-site.xml配置文件   <property>     <n...

2019-01-28 17:54:55

阅读数 877

评论数 0

Hadoop3.2.0 HDFS 用户指南

HDFS用户指南 目的 概览 先决条件 Web界面 Shell命令 DFSAdmin命令 Secondary NameNode 检查点节点 备份节点 导入检查点 负载均衡 机架意识 安全模式 fsck的 fetchdt 恢复模式 升级和回滚 DataNode...

2019-02-19 11:34:37

阅读数 847

评论数 0

Hadoop3.2.0 HDFS HA ( NFS)

目的 注意:使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper...

2019-02-19 14:43:05

阅读数 797

评论数 0

Hadoop3.2.0 YARN Timeline Service v.2

Overview Introduction Architecture Current Status and Future Plans Deployment Configurations Enabling Timeline Service v.2 Upgrade from ...

2019-02-21 06:39:50

阅读数 787

评论数 0

Hadoop3.2.0 YARN资源配置

概观 YARN支持可扩展的资源模型。默认情况下,YARN会跟踪所有节点,应用程序和队列的CPU和内存,但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源,但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。 此外,YARN还支持使用...

2019-02-21 06:39:31

阅读数 773

评论数 0

Hadoop3.2.0 HDFS架构

介绍 假想和目标 硬件故障 流式数据访问 大数据集 简单的一致性模型 “移动计算比移动数据便宜” 跨异构硬件和软件平台的可移植性 NameNode和DataNodes 文件系统命名空间 数据复制 副本安置:The First Baby Steps 副本选择 ...

2019-02-19 10:34:15

阅读数 763

评论数 0

Hadoop3.2.0 编写YARN应用程序

目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster(AM) 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点? 我如何获得ApplicationMaster的ApplicationAtte...

2019-02-21 06:42:20

阅读数 763

评论数 0

Hadoop3.2.0 YARN ResourceManager restart

概述 特征 配置 启用RM重启 配置状态存储以保持RM状态 如何选择州商店实施 基于Hadoop FileSystem的状态存储实现的配置 基于ZooKeeper的状态存储实现的配置 基于LevelDB的状态存储实现的配置 保持工作的RM恢复配置 笔记 示例配...

2019-02-20 11:38:16

阅读数 635

评论数 0

Spark On Yarn VCore Userd 值不正常(DefaultResourceCalculator / DominantResourceCalculator )

Spark On Yarn  VCore Userd 值不正常,目前集群有两个任务再跑,每个任务使用1cores。 在执行下面的脚本的时候。资源使用如下图:   执行脚本:   spark-submit \ --master yarn \ --deploy-m...

2019-01-30 17:15:14

阅读数 629

评论数 0

Hadoop3.2.0 YARN ResourceManager HA

介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍 本指南概述了YARN ResourceManager的高可用性,并详细介绍了如何配置和使用此功...

2019-02-21 06:39:11

阅读数 617

评论数 0

Hadoop3.2.0 YARN 命令

Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administr...

2019-02-20 09:12:18

阅读数 592

评论数 0

Hadoop3.2.0 YARN CGroup

CGroups配置 CGroups挂载选项 CGroups和安全 CGroups是一种机制,用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能,并且已合并到内核版本2.6.24中。从YARN的角度来看,这允许容器的资源使用受到限制。一个很好的例子是...

2019-02-20 11:25:12

阅读数 587

评论数 0

Hadoop3.2.0 Web应用程序代理

概述 介绍 当前状态 部署 配置 运行Web应用程序代理 概述 介绍 Web应用程序代理是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为在独立模式下运行。代理的原因是通过YARN降低基于Web的攻击的可能性。 在YARN中,Appli...

2019-02-21 06:39:37

阅读数 570

评论数 0

Hadoop3.2.0 YARN 简介

YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager...

2019-02-20 09:12:11

阅读数 566

评论数 0

Hadoop3.2.0 YARN 容量调度程序

Hadoop:容量调度程序 目的 概观 特征 配置 设置ResourceManager以使用CapacityScheduler 设置队列 队列属性 设置应用程序优先级。 Capacity Scheduler容器抢占 预订属性 使用CapacityScheduler...

2019-02-20 10:57:08

阅读数 527

评论数 0

Hadoop3.2.0 Hadoop 文件系统 shell命令指南

appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find ...

2019-02-18 22:49:17

阅读数 520

评论数 0

提示
确定要删除当前文章?
取消 删除