自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

原创 NIO与Socket笔记 : 转换为 CharBuffer字符缓冲区及中文的处理

asCharBuffer()方法的作用:创建此字节缓冲区的视图 ,作为 char缓冲区。 新缓冲区的 内容将从此缓冲区的当前位置开始。 此缓冲区内容的更改在新缓冲区中是可见的 ,反之亦 然 ;这两个缓冲区的位置、 限制和标记值是相互独立的。 新缓冲区的位置将为 0,其容量和 限制将为此缓冲区中所剩...

2019-03-29 14:32:47

阅读数 312

评论数 0

原创 NIO与Socket笔记 : Socket、NIO 理论

一、Socket 理论 Socket编程其实就是实现服务端与客户端的数据通信,不管使用任何的编程语言, 在 实现上基本上都是4个步骤: 1建立连接;2请求连接; 3回应数据; 4结束连接,这4个 步骤的流程图如图 1-3所示。 在学习 NIO 之前,必须先学习 Socket,因 为 ...

2019-03-29 12:31:04

阅读数 475

评论数 0

原创 管理类联考-英语 : 基础 [ 十二 ]

Powering the great ongoing changes of our time is the rise of human creativity as the defining feature of economic life. Creativity has come to be v...

2019-03-28 13:48:07

阅读数 98

评论数 0

翻译 Apache NiFi开发人员指南

介绍 NiFi组件 ProcessorAPI 支持API AbstractProcessor API 组件生命周期 组件通知 受限 州经理 报告处理器活动 记录组件 记录属性 记录关系 记录能力和关键词 记录FlowFile属性交互 记录相关组件 高级文档 种源事...

2019-03-20 18:04:49

阅读数 1731

评论数 2

翻译 Apache NiFi深度扩展

介绍 该高级文档旨在深入了解NiFi的实施和设计决策。它假设读者已经阅读了足够的其他文档来了解NiFi的基础知识。 FlowFiles是NiFi的核心,也是基于流程的设计。FlowFile是一种数据记录,由指向其内容(有效负载)的指针和支持内容的属性组成,该指针与一个或多个起源事件相关联。属性...

2019-03-20 16:36:47

阅读数 711

评论数 0

翻译 Apache NiFi系统管理员指南 [ 四 ]

系统属性 核心属性 State管理 H2设置 FlowFile存储库 交换管理(Swap Management) 内容存储库 (Content Repository) 文件系统内容存储库属性 (File System Content Repository Properties) 易...

2019-03-20 16:05:02

阅读数 734

评论数 0

翻译 Apache NiFi系统管理员指南 [ 三 ]

基本群集设置 故障排除 State管理 配置状态提供程序 嵌入式ZooKeeper服务器 ZooKeeper访问控制 ZooKeeper安全 ZooKeeper Migrator Bootstrap属性 通知服务 电子邮件通知服务 HTTP通知服务 代理配置 Kerber...

2019-03-20 16:04:42

阅读数 569

评论数 0

翻译 Apache NiFi系统管理员指南 [ 二 ]

配置用户和访问策略 加密配置 关键衍生函数 盐和IV编码 Java密码术扩展(JCE)有限强度管辖政策 允许不安全的加密模式 配置文件中的加密密码 NiFi工具包管理工具 群集配置 零主集群 为什么集群? 术语 集群内的通信 管理节点 流动选举 配置用户和访问策略...

2019-03-20 16:03:43

阅读数 477

评论数 0

翻译 Apache NiFi系统管理员指南 [ 一 ]

如何安装和启动NiFi 端口配置 NiFi 嵌入式Zookeeper 配置最佳实践 安全配置 TLS生成工具包 用户认证 轻量级目录访问协议(LDAP) Kerberos的 OpenId Connect Apache Knox 多租户授权 授权人配置 Authorize...

2019-03-20 16:03:05

阅读数 915

评论数 1

翻译 Apache NiFi用户指南

介绍 Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由,转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面,用于设计,控制,反馈和监控数据流。它在服务质量的几个方面具有高度可配置性,例如容错与保证交付,低延迟与高吞吐量以及基于优先级的排队。NiFi为所...

2019-03-20 11:15:10

阅读数 2465

评论数 1

翻译 Apache NiFi 入门指南

本指南使用于谁? 本指南适用于从未使用过,在NiFi中有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“用户指南”提供了大量信息,旨在提供更加详尽的资源,并且作为参考指南非常有用。相比之下,本指南旨在为用户提供所需的信息,以便了解如何使用NiFi,以便快速轻松地构建强大而灵...

2019-03-19 12:12:29

阅读数 3738

评论数 1

翻译 Apache NiFi 概述

Apache NiFi概述 Apache NiFi团队dev@nifi.apache.org 什么是Apache NiFi? 简单地说,NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用,但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直...

2019-03-18 23:01:24

阅读数 1434

评论数 0

翻译 Hortonworks HDP3.1.0 / HDF 3.4.0 官方资源下载地址.

HDP 3.1.0 Repositories OS Version Number Repository Name Format URL RedHat 7 CentOS 7 Oracle Linux 7 HDP-3.1.0.0 ...

2019-03-18 09:37:49

阅读数 1489

评论数 0

原创 Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程

一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks ...

2019-03-16 15:48:53

阅读数 504

评论数 6

原创 管理类联考-英语 : 基础 [ 十一 ]

1. 段落翻译 Exercise and healthful eating are linked to better health—and so is having a decent circle of friends. Now it looks like that link between f...

2019-03-15 23:23:23

阅读数 93

评论数 0

原创 Flume 1.9.0 源码解析 : 环境配置 & 启动入口

从本文开始对Flume 1.9.0 源码进行分析, 首先从启动入手. 一.源码包下载. 源码包:https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz ...

2019-03-15 11:05:36

阅读数 400

评论数 0

原创 Flume 1.9.0开发者指南

概述 架构 数据流模型 可靠性 构建Flume 获取Source 编译/测试的Sink 更新协议缓冲区版本 开发自定义组件 Client Client SDK RPC客户端接口 RPC客户端- Avro和Thrift 安全RPC客户端-Thrift 故障转移客户端 (F...

2019-03-15 10:13:35

阅读数 678

评论数 0

原创 Flume 1.9.0用户指南

概述 系统要求 架构 数据流模型 复杂的流程 可靠性 可恢复性 设置 设置 agent 配置单个组件 将各个部分连接在一起 启动 agent 一个简单的例子 在配置文件中使用环境变量 记录原始数据 基于Zookeeper的配置 plugins.d目录 插件的目录布...

2019-03-14 20:55:31

阅读数 1456

评论数 1

原创 Spark2.3.0 通过Phoenix4.7 查询 Hbase 数据.

0. 环境 软件 版本 JDK 1.8 SCALA 2.11.8 Spark 2.3.0 Phoenix 4.7.0 Hbase 1.1.2 1. 目标数据 CREATE TABLE TABLE1 (ID BIGINT ...

2019-03-14 19:47:22

阅读数 466

评论数 2

原创 管理类联考-英语 : 基础 [ 十 ]

The turning point of my life was my decision to give up a promising business career and study music. My parents, although sympathetic, and sharing m...

2019-03-13 21:05:11

阅读数 237

评论数 0

原创 Spark2.3.2源码解析: 算子解析 [ 四 . Action算子  ]

本文讲述的是[ Action算子 ] 分类的算子. 本质上在 Action 算子中通过 SparkContext 进行了提交作业的 runJob 操作,触发了RDD DAG 的执行。 一、无输出     22、foreach算子  foreach 对 RDD 中的每个元素都应用 f 函数...

2019-03-12 18:27:11

阅读数 186

评论数 0

原创 Spark2.3.2源码解析: 算子解析 [ 三 . Key-Value数据类型的Transfromation算子  ]

本文讲述的是[ Key-Value数据类型的Transfromation算子 ] 分类的算子. 一、输入分区与输出分区一对一     15、mapValues算子 mapValues :针对(Key, Value)型数据中的 Value 进行 Map 操作,而不对 Key 进行处理。...

2019-03-12 18:03:29

阅读数 125

评论数 0

转载 30张图带你彻底理解红黑树

写在前面 终于,在学习了几天的红黑树相关的知识后,我想把我所学所想和所感分享给大家。红黑树是一种比较难的数据结构,要完全搞懂非常耗时耗力,红黑树怎么自平衡?什么时候需要左旋或右旋?插入和删除破坏了树的平衡后怎么处理?等等一连串的问题在学习前困扰着我。如果你在学习过程中也会存在我的疑问,那么本...

2019-03-12 13:10:54

阅读数 1525

评论数 4

原创 Spark2.3.2源码解析: 算子解析 [ 二 . Value数据类型的Transformation算子  ]

本文讲述的是[ Value数据类型的Transformation算子 ] 分类的算子. 一、输入分区与输出分区一对一型     1、map算子 将原来 RDD 的每个数据项通过map 中的用户自定义函数 f映射转变为一个新的元素。源码中 map 算子相当于初始化一个 RDD, 新...

2019-03-12 10:28:01

阅读数 77

评论数 0

原创 MEM-英语 : 基础 [ 九 ]

1. 动名词做主语 Keeping a sense of humor (保 持幽默)helps to reduce stress. 2. 动名词做表语 我的爱好是打篮球。 My hobby is playing basketball. 3. 动名词做定语 Swimm...

2019-03-11 23:11:23

阅读数 197

评论数 0

原创 管理类联考-英语 : 基础 [ 八 ]

谓语动词 一、分词充当的成分 分词来源于状语从句和定语从句 As soon as they saw the teachers, the students stood up. 1、分词作状语 Seeing the teachers, the students stood...

2019-03-11 22:43:05

阅读数 85

评论数 0

原创 管理类联考-英语 : 基础 [ 七 ]

地点状语从句 where Where there is a will, there is a way. 有志者,事竟成 我在昨天摔倒的地⽅方找到了了钱包. I found my wallet at the place where I fell down yesterday....

2019-03-11 22:22:00

阅读数 78

评论数 0

原创 Spark2.3.2源码解析:Shuffle 过程写入的 数据文件&索引文件

Spark 在 shuffle 过程中,如果内存空间不足会向磁盘溢写文件, 一个索引文件,一个数据文件. 那么这两个文件长什么样? 里面放什么数据呢? 文件命名: ShuffleBlockId : "shuffle_" + shuffleId + "...

2019-03-11 18:11:50

阅读数 137

评论数 0

原创 Spark2.3.2源码解析: 算子解析 [ 一 . 概览 ]

本章先大体对Spark的算子进行分类, 然后根据分类做具体分析  从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业Action 操作,完成作业中间过程处理。      Transformation ...

2019-03-11 11:52:31

阅读数 137

评论数 0

原创 LRU . LFU 和 LRU-K 的解释与区别

LFU和LRU算法的不同之处:LRU的淘汰规则是基于访问时间, 而LFU是基于访问次数的。 LRU-K 是LFU与LRU的综合版本 比如,LRU时期T为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2 1 2 1 2 3 4 注意,当调页面4时会发生缺页中断 若按LRU算法...

2019-03-08 12:39:00

阅读数 259

评论数 0

原创 操作系统 中的内存管理分页和分段

要理解分段和分页,那么得理解为什么会出现分段和分页的技术 首先,这两个技术都是为了利用和管理好计算机的资源--内存。 在分段这个技术还没有出现之前,程序运行是需要从内存中分配出足够多的连续的内存,然后把整个程序装载进去。举个例子,某个程序大小是10M,然后,就需要有连续的10M内存空间才能把这...

2019-03-08 11:24:16

阅读数 218

评论数 0

原创 Redis 知识梳理 [ Cluster 集群 ]

RedisCluster 是 Redis 的亲儿子,它是 Redis 作者自己提供的 Redis 集群化方 案。 相对于 Codis 的不同,它是去中心化的 如图所示,该集群有三个 Redis 节点 组成,每个节点负责整个集群的一部分数据, 每个节点负责的数据多少可能不一 样。 这三个节点...

2019-03-07 17:18:12

阅读数 53

评论数 0

转载 Java源码分析:关于 HashMap 1.8 的重大更新

前言 HashMap 在 Java 和 Android 开发中非常常见 而HashMap 1.8 相对于 HashMap 1.7 更新多 今天,我将通过源码分析HashMap 1.8 ,从而讲解HashMap 1.8 相对于 HashMap 1.7 的更新内容,希望你们会喜欢。 本文基于版本 JD...

2019-03-05 10:30:06

阅读数 84

评论数 0

原创 红黑树 R-B Tree 原理和算法介绍

R-B Tree简介 R-B Tree,全称是Red-Black Tree,又称为“红黑树”,它一种特殊的二叉查找树。红黑树的每个节点上都有存储位表示节点的颜色,可以是红(Red)或黑(Black)。 红黑树的特性:(1)每个节点或者是黑色,或者是红色。(2)根节点是黑色。(3)每个叶子节...

2019-03-05 10:01:59

阅读数 180

评论数 0

原创 管理类联考-英语 : 基础 [ 六 ]

一.时间状语 1.when引导的动作 可以持续,可以瞬间 When I die, I want my tombstone to offer free Wifi, just do people will visit more often. 2.while 之 之后是持续的动作或状...

2019-03-05 09:23:59

阅读数 151

评论数 0

原创 管理类联考-英语 : 基础 [ 五 ]

同位语从句 1.从句= 陈述句 A saying goes that practice makes perfect. 俗话说:熟能⽣生巧。 The suggestion is great. We should get up early tomorrow. Because sh...

2019-03-05 09:23:25

阅读数 134

评论数 0

原创 FF快速失败 & FS安全失败区别

概念快速理解: 快速失败: 当你在迭代一个集合的时候,如果有另一个线程正在修改你正在访问的那个集合时,就会抛出一个ConcurrentModification异常。 在java.util包下的都是快速失败。 安全失败: 你在迭代的时候会去...

2019-03-04 16:45:45

阅读数 312

评论数 0

原创 Redis 知识梳理 [ 五 种基础数据结构 ]

Redis 有 5 种基础数据结构,分别为:string (字符串)、list (列表)、set (集 合)、hash (哈希) 和 zset (有序集合)。 1. 字符串 字符串 string 是 Redis 最简单的数据结构。它的内部表示就是一个字符串数组. Redis 所有的数据结构都...

2019-03-02 16:24:46

阅读数 103

评论数 0

转载 Hash算法总结

1. Hash是什么,它的作用 先举个例子。我们每个活在世上的人,为了能够参与各种社会活动,都需要一个用于识别自己的标志。也许你觉得名字或是身份证就足以代表你这个人,但是这种代表性非常脆弱,因为重名的人很多,身份证也可以伪造。最可靠的办法是把一个人的所有基因序列记录下来用来代表这个人,但显然,这...

2019-03-02 16:04:20

阅读数 487

评论数 0

原创 Maven镜像仓库更换为阿里云,快速加载依赖

总共修改两个地方, 一个settings.xml配置文件, 一个 pom.xml 文件. 修改maven配置文件settings.xml (当然也可以在用户home目录.m2下面添加一个settings.xml文件,记得备份.) 在 apache-maven-3.x.x/conf 目录...

2019-03-01 21:59:30

阅读数 1087

评论数 0

提示
确定要删除当前文章?
取消 删除