自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

原创 管理类联考-英语 : 基础 [ 四 ]

宾语不缺成分!!!! 一 . 从句= 陈述句 二. 从句 = 一般疑问句 I don’t know if/whether you love me. 一般疑问句句改为 if/ whether+陈述语序 1. 用whether禁if的三种情况 1). o...

2019-02-27 22:03:40

阅读数 174

评论数 0

原创 Redis 单节点千万级别数据读取 , 插入 Mysql 性能测试.

  环境说明:             Redis 未做任何优化, 单节点    (服务器上, 内存64G).             Mysql 未做任何优化, 单节点     (服务器上, 内存64G).             数据量 : 10058624条          (大约...

2019-02-26 14:35:38

阅读数 784

评论数 0

原创 管理类联考-英语 : 基础 [ 三 ]

关系代词: that, which, who, whom, whose, as 关系副词有: when, where, why ============================================================= 定语从句: The bui...

2019-02-25 21:38:05

阅读数 177

评论数 0

原创 Redis 单节点千万级别数据 写入,读取 性能测试.

  本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624   环境说明:             Redis 未做任何优化, 单节点    (服务器上, 内存64G).             数据量 : 10058624条  (大约一千零6万条...

2019-02-25 18:51:56

阅读数 3208

评论数 1

翻译 Redis-5.0.3 快速入门 & 安装 & 配置& 拒绝连接

本自述文件只是一个快速*快速入门*文档。您可以在[redis.io](https://redis.io)找到更详细的文档。 ============================================================= 常用命令: 一.安装. 1. 下载: ...

2019-02-25 11:06:58

阅读数 580

评论数 0

原创 MEM-英语 : 单词速记整理

构词法记忆 1.【前缀】pro-,表示“向前” progress ['prɑɡrɛs] v./n. 进步,发展;前进 pro-向前,gress 走→进步,发展 prohibit [prə(ʊ)‘hɪbɪt] v. 阻止,禁止 pro-向前,hibit 拿住→向前...

2019-02-24 00:51:06

阅读数 1073

评论数 0

原创 管理类联考-英语 : 基础 [ 二 ]

定语:用来修饰、限定、说明名词或代词的品质与特征的。 [ adj.] 一个 卖萌的 菇凉 定语 一只 对女朋友很好小心翼翼辛苦劳动还被批评了的 小猫 定语从句 这个买面条的熊猫是个功夫大师 The panda who...

2019-02-23 15:49:08

阅读数 688

评论数 0

原创 Spark2.3.2源码解析: 4.3.Yarn cluster 模式 Executor 注册/启动源码 分析

本文章与前两篇文章有衔接性, 想知道为什么从此处代码开始的话,请查阅前两篇文章: Spark2.3.2源码解析: 4.1.Yarn cluster 模式 SparkSubmit源码分析(一) https://blog.csdn.net/zhanglong_4444/article/deta...

2019-02-22 17:45:36

阅读数 1016

评论数 0

翻译 Hadoop3.2.0 编写YARN应用程序

目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster(AM) 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点? 我如何获得ApplicationMaster的ApplicationAtte...

2019-02-21 06:42:20

阅读数 919

评论数 0

原创 管理类联考-英语 : 基础 [ 一 ]

十大词性: 英语名称 作用 例词 名词 Noun(n.) 表示人或事物的名称 student学生; China 代词 ...

2019-02-21 06:40:09

阅读数 802

评论数 0

翻译 Hadoop3.2.0 YARN Timeline Service

YARN时间线服务器 概观 部署 时间线服务器REST API V1 域名/ ws / v1 /时间线/域名 发布时间轴实体 时间线实体列表 时间线实体 时间线事件列表 关于 申请清单 应用 申请尝试清单 申请尝试 集装箱清单 容器 时间线服务器性能测试工具 概观 ...

2019-02-21 06:39:59

阅读数 1637

评论数 0

翻译 Hadoop3.2.0 YARN Timeline Service v.2

Overview Introduction Architecture Current Status and Future Plans Deployment Configurations Enabling Timeline Service v.2 Upgrade from ...

2019-02-21 06:39:50

阅读数 1208

评论数 0

翻译 Hadoop3.2.0 Web应用程序代理

概述 介绍 当前状态 部署 配置 运行Web应用程序代理 概述 介绍 Web应用程序代理是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为在独立模式下运行。代理的原因是通过YARN降低基于Web的攻击的可能性。 在YARN中,Appli...

2019-02-21 06:39:37

阅读数 643

评论数 0

翻译 Hadoop3.2.0 YARN资源配置

概观 YARN支持可扩展的资源模型。默认情况下,YARN会跟踪所有节点,应用程序和队列的CPU和内存,但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源,但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。 此外,YARN还支持使用...

2019-02-21 06:39:31

阅读数 1030

评论数 0

翻译 Hadoop3.2.0 YARN ResourceManager HA

介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍 本指南概述了YARN ResourceManager的高可用性,并详细介绍了如何配置和使用此功...

2019-02-21 06:39:11

阅读数 845

评论数 0

翻译 Hadoop3.2.0 YARN ResourceManager restart

概述 特征 配置 启用RM重启 配置状态存储以保持RM状态 如何选择州商店实施 基于Hadoop FileSystem的状态存储实现的配置 基于ZooKeeper的状态存储实现的配置 基于LevelDB的状态存储实现的配置 保持工作的RM恢复配置 笔记 示例配...

2019-02-20 11:38:16

阅读数 712

评论数 0

翻译 Hadoop3.2.0 YARN CGroup

CGroups配置 CGroups挂载选项 CGroups和安全 CGroups是一种机制,用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能,并且已合并到内核版本2.6.24中。从YARN的角度来看,这允许容器的资源使用受到限制。一个很好的例子是...

2019-02-20 11:25:12

阅读数 682

评论数 0

翻译 Hadoop3.2.0 YARN Fair Scheduler

Hadoop:Fair Scheduler 目的 介绍 具有可插入策略的分层队列 自动将应用程序放入队列中 安装 组态 可以放在yarn-site.xml中的属性 分配文件格式 队列访问控制列表 预订访问控制列表 配置ReservationSystem 管理 ...

2019-02-20 11:18:21

阅读数 620

评论数 0

翻译 Hadoop3.2.0 YARN 容量调度程序

Hadoop:容量调度程序 目的 概观 特征 配置 设置ResourceManager以使用CapacityScheduler 设置队列 队列属性 设置应用程序优先级。 Capacity Scheduler容器抢占 预订属性 使用CapacityScheduler...

2019-02-20 10:57:08

阅读数 643

评论数 0

原创 Mysql5.7, 千万数据快速插入解决方案( JDBC方式, 百秒搞定!!!)

    最近在弄一件任务,要求测试一下从文本中读取数据,然后向mysql表中插入。要求用JDBC线程导入。要求效率。   环境说明:                       数据量 : 10058624条  (大约一千零6万条数据,本地机器运行)             数据大小...

2019-02-20 09:14:25

阅读数 3173

评论数 0

翻译 Hadoop3.2.0 YARN 命令

Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administr...

2019-02-20 09:12:18

阅读数 700

评论数 0

翻译 Hadoop3.2.0 YARN 简介

YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager...

2019-02-20 09:12:11

阅读数 661

评论数 0

翻译 Hadoop3.2.0 HDFS DataNode管理员指南

概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量 概观 Hadoop分布式文件系统(HDFS)名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性,指示节点是活的,死的还是陈旧的。第二种类型描述了管理状态,指示节点是在...

2019-02-20 09:12:03

阅读数 255

评论数 0

翻译 Hadoop3.2.0 HDFS磁盘平衡器

概述 建筑 命令 计划 执行 询问 取消 报告 设置 调试 概述 Diskbalancer是一个命令行工具,可以在datanode的所有磁盘上均匀分配数据。此工具与Balancer不同, 后者负责集群范围的数据平衡。由于多种原因,数据在节点上的磁盘之间可能存在不均匀...

2019-02-20 09:11:54

阅读数 211

评论数 0

翻译 Hadoop3.2.0 HDFS擦除编码

目的 背景 建筑 部署 群集和硬件配置 配置键 启用Intel ISA-L 管理命令 限制 目的 复制很昂贵 - HDFS中的默认3x复制方案在存储空间和其他资源(例如,网络带宽)中具有200%的开销。但是,对于I / O活动相对较低的暖和冷数据集,在正常操作期间很少访...

2019-02-20 09:11:40

阅读数 1017

评论数 0

翻译 Hadoop3.2.0 (合成负载发生器指南) Synthetic Load Generator Guide

  概观 概要 测试空间人口 结构生成器 数据生成器 概观 合成负载生成器(SLG)是用于在不同客户端负载下测试NameNode行为的工具。用户可以通过指定读取和写入的概率来生成读取,写入和列表请求的不同混合。用户通过调整工作线程数量和操作之间的延迟参数来控制负载强度。在负载生成...

2019-02-20 09:11:30

阅读数 107

评论数 0

翻译 Hadoop3.2.0 HDFS中的内存存储支持

介绍 管理员配置 限制用于内存中副本的RAM 在数据节点上设置RAM磁盘 选择tmpfs(vs ramfs) 安装RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 确保已启用存储策略 应用用法 使用LAZY_PERSIST存储策略 为目录调用hdfs stor...

2019-02-19 16:00:44

阅读数 378

评论数 0

翻译 Hadoop3.2.0 HDFS中的集中缓存管理

HDFS中的集中缓存管理 概述 用例 建筑 概念 缓存指令 缓存池 cacheadmin命令行界面 缓存指令命令 addDirective removeDirective removeDirectives listDirectives 缓存池命...

2019-02-19 15:53:50

阅读数 335

评论数 0

翻译 Hadoop3.2.0 HDFS权限指南

概述 用户身份 组映射 许可检查 了解实施 对文件系统API的更改 对应用程序外壳的更改 超级用户 Web服务器 ACL(访问控制列表) ACL文件系统API ACL Shell命令 配置参数 概述 Hadoop分布式文件系统(HDFS)实现了共享大部分POSIX模型的文...

2019-02-19 15:26:35

阅读数 519

评论数 0

翻译 Hadoop3.2.0 HDFS 快照

HDFS快照 概观 Snapshottable目录 快照路径 使用快照升级到HDFS版本 快照操作 管理员操作 允许快照 禁止快照 用户操作 创建快照 删除快照 重命名快照 获取Snapshottable目录列表 获取快照差异报告...

2019-02-19 15:20:02

阅读数 109

评论数 0

翻译 Hadoop3.2.0 HDFS Federation

背景 多个名称节点/命名空间 主要优点 联合配置 组态: 格式化名称节点 从旧版本升级并配置联合 将新Namenode添加到现有HDFS集群 管理集群 启动和停止集群 平衡器 退役 群集Web控制台 本指南概述了HDFS联邦功能以及如何配置和管理联邦...

2019-02-19 14:58:24

阅读数 367

评论数 2

翻译 Hadoop3.2.0 HDFS HA ( NFS)

目的 注意:使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper...

2019-02-19 14:43:05

阅读数 1009

评论数 0

翻译 Hadoop3.2.0 HDFS HA ( Quorum Journal Manager )

目的 注意:使用Quorum Journal Manager或常规共享存储 背景 架构 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 负载均衡器设置 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 ...

2019-02-19 14:15:19

阅读数 184

评论数 0

翻译 Hadoop3.2.0 HDFS命令指南

HDFS命令指南   概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oi...

2019-02-19 12:06:34

阅读数 1264

评论数 0

翻译 Hadoop3.2.0 HDFS 用户指南

HDFS用户指南 目的 概览 先决条件 Web界面 Shell命令 DFSAdmin命令 Secondary NameNode 检查点节点 备份节点 导入检查点 负载均衡 机架意识 安全模式 fsck的 fetchdt 恢复模式 升级和回滚 DataNode...

2019-02-19 11:34:37

阅读数 938

评论数 0

翻译 Hadoop3.2.0 HDFS架构

介绍 假想和目标 硬件故障 流式数据访问 大数据集 简单的一致性模型 “移动计算比移动数据便宜” 跨异构硬件和软件平台的可移植性 NameNode和DataNodes 文件系统命名空间 数据复制 副本安置:The First Baby Steps 副本选择 ...

2019-02-19 10:34:15

阅读数 915

评论数 0

翻译 Hadoop3.2.0 Hadoop 机架感知

Hadoop组件具有机架感知功能。例如,通过将一个块的分片放在不同的机架上,HDFS块放置将使用机架感知来实现容错。这可以在群集中发生网络切换故障或分区时提供数据可用性。 Hadoop主守护进程通过调用配置文件指定的外部脚本或java类来获取集群工作者的机架ID。使用java类或外部脚本进行拓扑...

2019-02-18 23:26:19

阅读数 614

评论数 1

原创 Hadoop3.2.0 Hadoop 文件系统 shell命令指南

appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find ...

2019-02-18 22:49:17

阅读数 654

评论数 0

翻译 Hadoop3.2.0 Hadoop 命令指南

Hadoop命令指南 概览 Shell 选项 Generic 选项 User Commands  用户命令 archive checknative classpath conftest credential distch distcp dtutil ...

2019-02-18 22:27:13

阅读数 254

评论数 0

原创 管理类联考-英语 : 前导( 四 )

dic , dict = say dictionary n 字典 contradict v 反驳 dictate v (使)听写; 指令, 命令 predict v 语言, 预测, 预告 indicate v 暗示 idea , ideo = idea 思想, 观点 idea n...

2019-02-18 21:57:08

阅读数 58

评论数 0

提示
确定要删除当前文章?
取消 删除