张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Spark On Yarn VCore Userd 值不正常(DefaultResourceCalculator / DominantResourceCalculator )

Spark On Yarn  VCore Userd 值不正常,目前集群有两个任务再跑,每个任务使用1cores。 在执行下面的脚本的时候。资源使用如下图:   执行脚本:   spark-submit \ --master yarn \ --deploy-m...

2019-01-30 17:15:14

阅读数 598

评论数 0

Hadoop2.7x 日志文件目录迁移(涉及组件:ZooKeeper、Spark、Hive、HBase、Oozie、Storm、Kafka)

1.本人使用的是ambari管理的hadoop2.7.3版本,由于/var目录空间有限, 所以对hadoop的日志存放目录做迁移处理。   操作: 一、更改配置文件 在这里一共要动以下几个文件(这些文件是ambari上显示的配置,如果是调整配置文件的话,请自行查找具体名称。) 1.ha...

2019-01-29 16:54:06

阅读数 133

评论数 3

CentOS 7 迁移mysql5.7 数据存储目录

mysql默认的数据文档存储目录为/var/lib/mysql,但是/var空间有时会比较小,产导致磁盘满,无法正常操作数据库。 需要将/var/lib/mysql迁移到其他大的目录,   例如我要迁移到/data/var/lib目录下。 (使用root账户操作)   1.创建文件夹  ...

2019-01-29 14:52:39

阅读数 1074

评论数 0

hadoop配置自动清理日志

hadoop在运行时间长了之后,日志文件,会占用很大,极端情况,会导致硬盘满。影响业务的正常运行。 解决方式:   步骤一、修改core-site.xml配置文件   <property>     <n...

2019-01-28 17:54:55

阅读数 658

评论数 0

七、数据结构笔记:树、森林、二叉树的转换与查询

在介绍树的存储结构时,就说到了树的孩子兄弟表示法可以将一棵树用二叉链表进行存储,所以借助二叉链表,树和二叉树可以互相转换。从物理结构上来看,它们的二叉链表也是相同的,只是介绍不太一样而已。因此,只要我们设定一定的规则,用二叉树来表示树,甚至表示森林都是可以的,森林和二叉树也可以互相进行转换。 树...

2019-01-24 15:42:36

阅读数 71

评论数 0

六、数据结构笔记:树[四]( 二叉树遍历)

二叉树遍历原理   二叉树的遍历:是指从根结点出发,按照某种次序依次访问二叉树中的所有结点,使得每个结点被访问一次且仅被访问一次。   这里有两个关键词:访问和次序。 访问其实是要根据实际的需要来确定具体做什么,比如对每个结点进行相关计算,输出打印等。它算作是一个抽象操作。 二叉树的遍...

2019-01-24 14:33:37

阅读数 91

评论数 0

六、数据结构笔记:树[三]( 二叉树存储结构 )

数据结构——二叉树的存储结构 之前已经谈过了树的存储结构,并且说到顺序存储对树这一种一对多的关系的结构实现起来比较困难。但是二叉树是一种特殊的树,由于它的特殊性,使得用顺序存储结构也可以实现。 二叉树的顺序存储结构 二叉树的顺序存储结构就是用一维数组存储二叉树中的结点,并且结点的存储位置,也...

2019-01-24 10:35:21

阅读数 66

评论数 0

六、数据结构笔记:树[二]( 二叉树以及性质)

二叉树定义 二叉树:是n(n>=0)个结点的有限集合,该集合或者为空集(称为空二叉树),或者由一个根结点和两棵互不相交的、分别称为根结点的左子树和右子树的二叉树组成。 如下图就是一个二叉树:   二叉树特点 二叉树的特点有: 每个结点最多两个子树,所以二叉...

2019-01-23 23:50:04

阅读数 643

评论数 0

五、数据结构笔记:串 [二] ( KMP模式匹配算法 )

    KMP模式匹配算法 (朴素算法的升级版本) 原理: 主串 S: “abcdefgab”找到   子串T “abcdex”  的位置 如果采用朴素算法,前5个字母,两个串完全相等,直到第6个字母,"f"与“x”不等,如图 如图,按照朴素模式...

2019-01-23 18:06:55

阅读数 688

评论数 0

六、数据结构笔记:树[一](基本知识与存储方式)

树的定义 之前一直介绍的是一对一的线性结构,可现实中还有多一对多的情况需要处理,这就是今天要介绍的一对多的数据结构——树。 树(Tree):是n(n>=0)个结点的有限集。n=0时称为空树。在任意一棵非空树中: 有且仅有一个特定的称为根(Root)的结点; 当n&am...

2019-01-23 04:02:20

阅读数 693

评论数 0

五、数据结构笔记:串 [一] (定义 & 朴素的模式匹配算法)

串的定义:是由零个或多个字符组成的有限序列,又叫字符串。   一般记为 s=“a1a2a3...an"(n>=0),其中,s是字符串的名称,用双引号括起来的字符序列是串的值,注意引号不属于串的内容。ai可以是字母、数字或者其他字符,i是该字符在串中的...

2019-01-22 20:37:46

阅读数 658

评论数 0

四、数据结构笔记:栈与队列

栈(stack):是限定仅在表尾进行插入和删除操作的线性表。 队列(Queue):是只允许在一端进行插入操作,而在另一端进行删除操作的线性表。 定义 栈(stack):是限定仅在表尾进行插入和删除操作的线性表。 我们允许插入和删除的一端称为栈顶(top),另一端称为栈底(bottom)...

2019-01-22 17:03:23

阅读数 663

评论数 0

三、数据结构笔记:线性表

线性表(List):零个或多个数据元素的有限序列   线性表,从名字上可以感觉到,是具有像线一样的性质的表。 注意; 首先它是一个序列。也就是说,元素之间是有序的,若元素存在多个,则第一个元素无前驱,最后一个元素无后继,其他每个元素有且只有一个前驱和后继。 线性表强调有限,元素个数是...

2019-01-22 14:06:13

阅读数 661

评论数 0

二、数据结构笔记: 算法

算法定义:         解决特性问题求解步骤的描述,在计算机中表现为指令的有限序列,并且每条指令表示一个或多个操作。   算法具有五个基本特性。 输入 算法具有零个或多个输入 输出 算法至少有一个或多个输出 有穷性 算法在执行有限的步骤之后,自动结束而不会...

2019-01-22 10:04:22

阅读数 660

评论数 0

三十、JAVA多线程笔记:synchronized(this)、synchronized(class)与synchronized(Object)的区别 测试

在多线程开发中,我们经常看到synchronized(this)、synchronized(*.class)与synchronized(任意对象)这几种类型同步方法。 但是这几种写法有什么区别了?我们来验证一下。   非同步样例代码: 首先,我们先写一个非同步代码,也就是不加synchro...

2019-01-21 18:34:21

阅读数 1303

评论数 0

二十九、JAVA多线程笔记:Event Driven设计模式

Event-Driven Architecutre 基础  EDA是一种以事件为媒介,实现组件或服务之间最大松耦合的方式。传统面向接口编程是以接口为媒介,实现调用接口者和接口实现者之间的解耦,但是这种解耦程度不是很高,如果接口发生变化,双方代码都需要变动,而事件驱动则是调用者和被调用者互相不知道...

2019-01-21 13:37:26

阅读数 984

评论数 0

一、数据结构笔记: 绪论

基本概念&术语:        数据结构是相互之间存在一种或多种特定关系的数据元素集合。 数据结构是一门研究非数值计算的程序设计问题中的操作对象,以及他们之间的关系和操作等问题的学科。     数据 是描述客观事物的符号,是计算机中可以操作的对象,是能被...

2019-01-21 12:14:01

阅读数 710

评论数 1

Apache Hadoop 3.2.0 官方API常规 :单节点安装

Hadoop:设置单节点群集。 目的 先决条件 支持的平台 必备软件 安装软件 下载 准备启动Hadoop集群 独立操作 伪分布式操作 组态 设置passphraseless ssh 执行 YARN在单个节点上 全分布式操作 目的 本文档介绍如何设置...

2019-01-20 23:23:25

阅读数 1214

评论数 0

Apache Hadoop 3.2.0 官方API常规 : 概览

Apache Hadoop 3.2.0 Apache Hadoop 3.2.0在之前的稳定次要版本(hadoop-3.1)中包含了许多重要的增强功能。 这是3.2版本系列中的第一个版本,尚未普遍可用(GA)或生产就绪。 概观 建议用户阅读完整的发行说明。此页面提供了主要更改的概述。 YA...

2019-01-20 23:00:24

阅读数 159

评论数 0

二十八、JAVA多线程笔记:Event Bus设计模式

        EventBus是一个 发布/订阅 模式的消息总线库,它简化了应用程序内各组件间、组件与后台线程间的通信,解耦了事件的发送者和接收者,避免了复杂的、易于出错的依赖及生命周期问题,可以使我们的代码更加简洁、健壮。   设计原理: 我们可以将事件监听者的管理,注册监听者、移除...

2019-01-17 17:51:46

阅读数 182

评论数 0

提示
确定要删除当前文章?
取消 删除