自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

原创 JAVA编程思想笔记 : 并发 [ 一 ]

程序中的所有事物,在任意时刻都只能执行一个步骤. 并发的多面性 并发解决的问题大体上可以分为"速度"和"设计可管理性"两种 并发通常是提高运行在单处理器上的程序的性能. 实现并发最直接的方式是在操作系统级别使用进程. 困难: 协调不同线程...

2019-04-30 17:29:52

阅读数 77

评论数 0

原创 JAVA编程思想笔记 : 复用类

复用代码是 Java 众多引人注目的功能之一.但是想要成为机具革命性的语言,仅仅能复制代码并对之加以改变是不够的,它还必须能够做更多的事情. 组合语法 只需将对象引用置于新类中即可. 初始化引用位置 定义对象的地方,他们总是能够在构造器被调用之前初始化. 在类的构造器中 就在要使...

2019-04-30 10:55:44

阅读数 75

评论数 0

原创 JAVA编程思想笔记 : 访问权限控制

如何把变动的事物与保持不变的事物区分开. 包:库单元 包内包含有一组类,它们在单一的名字空间之下被组织在了一起. 当编写一个 Java 源代码文件时,此文件通常被称为编译单元. 每个编译单元都必须有一个后缀名.java,而在编译单元内则可以有一个 public 类,该类的名称必须与文...

2019-04-29 16:53:00

阅读数 53

评论数 0

原创 管理类联考-逻辑 : 基础 [六]

2019-04-29 01:03:59

阅读数 201

评论数 0

原创 JAVA编程思想笔记 : 初始化与清理

随着计算机革命的发展,"不安全"的编程方式已逐渐成为编程代价高昂的主因之一 用构造器确保初始化 方法重载 任何程序设计语言都具备的一项重要特性就是对名字的运用. 当创建一个对象时,就是给此对象分配到的空间取一个名字. 所谓的方法就是给某个动作取名字. ...

2019-04-28 18:44:28

阅读数 181

评论数 0

原创 JAVA编程思想笔记 : 控制执行流程

就像有知觉的生物一样,程序必须在执行的过程中控制它的世界.并作出选择 Java 使用了 C 的所有流程控制语句. true 和 false if-else 迭代 ( while / do-while / for/ foreach) while 和 do-while 区别...

2019-04-28 11:30:29

阅读数 42

评论数 0

原创 管理类联考-逻辑 : 基础 [五]

断定思维对象具有或不具有某种属性的判断,又称为直言判断。 逻辑上的[有些/有的] 跟我们日常生活中的[有些/有的] 不一样 [有些/有的] ==> 至少有一个. 根据性质判断量和质的不同组合,可以有六种类型: 1单称肯定判断 这个S是P 2.单称否...

2019-04-26 21:14:45

阅读数 318

评论数 0

原创 JAVA编程思想笔记 : 操作符

在最底层,Java 中的数据是通过使用操作符来操作的. 更简单的打印语句 System.out.println(" Rather a lot to type "); 使用 Java 操作符 操作符 : 接受一个或多个参数, 并生成一个新值. 优先级...

2019-04-26 18:29:06

阅读数 93

评论数 0

原创 JAVA编程思想笔记 : 一切都是对象

尽管 Java 是基于 C++的, 但相比之下,Java 是一种更"存粹"的面向对象的程序设计语言. 用引用操纵对象 遥控器(引用) --- 电视机(对象) 必须由你创建所有对象 1.存储到什么地方 寄存器: 最快, 位于处理器内部.容量有限,不受...

2019-04-26 17:14:56

阅读数 74

评论数 0

原创 JAVA编程思想笔记 : 对象导论

前言: 程序设计其实是对复杂性的管理: 待解决问题的复杂性, 以及用来解决该问题的工具的复杂性. 减少开发健壮代码所需的时间以及困难. 抽象过程 程序可以通过添加新类型的对象,使其适用于某个特定问题. 万物皆对象. 程序时对象的结合. 每个对象都有自己的由其他对象所构成的存储. ...

2019-04-25 18:20:33

阅读数 91

评论数 0

原创 管理类联考-逻辑 : 基础 [四]

假言推理 假言推理就是以一个假言判断做大前提,一个简单判断做小前提。 由于假言判断有三种不同的类型,所以,假言推理分为:充分条件假言推理、必要条件假言推理、充要条件假言推理。 充分条件假言推理规则 假言连锁推理又称纯假言推理,它是由...

2019-04-24 21:12:14

阅读数 194

评论数 0

原创 Mac系统, 切换大小写失灵

最近突然,大小姐切换失灵, 查了一下,解决方案如下: 系统偏好设置-> 键盘--> 输出法:

2019-04-24 18:52:37

阅读数 3318

评论数 0

原创 Hadoop3.2.0 源码分析: namenode 启动

通过脚本启动 namenode 的时候,不管怎么样都会调用NameNode 类. 至于脚本怎么调用的自行查看一下脚本: bin/hdfs libexec/hadoop-functions.sh 输出 debug 模式下 shell 脚本日志: /Library/java/Java...

2019-04-23 18:59:55

阅读数 231

评论数 0

原创 Hadoop3.2.0 源码分析: datanode 启动

通过脚本启动 namenode 的时候,不管怎么样都会调用DataNode 类. 至于脚本怎么调用的自行查看一下脚本: bin/hdfs libexec/hadoop-functions.sh 输出 debug 模式下 脚本日志: /Library/Java/JavaVirtua...

2019-04-23 18:59:26

阅读数 168

评论数 0

原创 Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式

在调试代码的时候,需要用到 hadoop 的 debug 模式. 所有做了一下记录: 打开 DEBUG 模式: export HADOOP_SHELL_SCRIPT_DEBUG=true 如果不好用,直接调整函数代码,把判断去掉即可 : 启动脚本的时候输出的日志: ...

2019-04-23 18:24:25

阅读数 90

评论数 0

原创 Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler 理论

特点 以队列为单位划分资源,每个队列可设定一定比例的资源最低保证和使用上限,同时,每个用户也可设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其他队列。总之,Capacity Scheduler主要有以下几个特点: 容量保证:管理员可为每个队列设置资源最...

2019-04-23 14:05:06

阅读数 125

评论数 0

原创 Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler

在上一节中,只是讲解了ResourceManager 的启动,这次来说另外一个核心的点没说,那就是调度. // Initialize the scheduler // todo ResourceScheduler 调度器的创建,他的子类之一就是FairScheduler schedule...

2019-04-23 06:57:57

阅读数 113

评论数 0

原创 管理类联考-逻辑 : 基础 [三]

假言判断 是断定一事物情况存在是另一事物情况存在的条件的判断 充分假言判断: 只要......就...... 充分条件假言判断:P→Q 必要条件假言判断:¬P→¬Q 充分必要条件假言判断:P↔Q ...

2019-04-22 21:20:12

阅读数 258

评论数 0

原创 Hadoop3.2.0 源码分析: Container 之 DefaultContainerExecutor 与 LinuxContainerExecutor

在yarn 里面Container 是可选的.本文介绍以下两种: DefaultContainerExecutor LinuxContainerExecutor 由配置参数控制: yarn.nodemanager.container-executor.class 有NodeManager初...

2019-04-22 16:36:15

阅读数 356

评论数 0

原创 管理类联考-逻辑 : 基础 [二]

选言 选言判断就是断定几种事物情况至少有一种事物情况存在的判断。 相容选言 断定几种事物情况至少有一种存在(可同时存在)的判断 或者,或者 : 相容选言. 是,还是 : 相容选言. 或 : 相容选言 (1)选言肢有一个为真,相容选言判断为真。 (...

2019-04-19 21:29:32

阅读数 266

评论数 0

原创 管理类联考-逻辑 : 基础 [一]

综合能力考试中的逻辑推理部分主要考查考生对各种信息的理解、分析和综合,以及相应的判断、推理、论证等逻辑思维能力,不考查逻辑学的专业知识。试题内容涉及自然、社会和人文等各个领域,但不考查相关领域的专业知识。 判断与负判断 判断种类: 负判断 两个判断之间一...

2019-04-19 20:09:18

阅读数 323

评论数 0

原创 MAC版本: Hadoop3.2.0 源码编译 [ 二 ]

MAC版本,Hadoop3.2.0 提供了 docker 编译的方式. 构建方式非常简单, 不过首先你要先安装好 docker. 1.安装 docker (自行安装) 需要设置一下共享目录: 2.运行:start-build-env.sh 等待构建完成. 安装成...

2019-04-19 00:02:01

阅读数 350

评论数 0

原创 Intellij IDEA设置忽略部分类编译错误

有些时候我们的项目中有些错误,但这些错误并不影响项目的整体运行(或许是没有使用到), 默认情况下idea是无法通过编译的,因此也就无法部署运行,要达到正确运行项目的目的需要作一些设置才行。 设置如下: ...

2019-04-18 22:03:03

阅读数 498

评论数 0

原创 IntelliJ IDEA 修改内存大小

mac 版本: 配置文件路径:/Applications/IntelliJ IDEA.app/Contents/bin/idea.vmoptions 修改 -Xms 最小内存 -Xmx 最大内存 建议改成一样值. 设置完成之后,需要重启一下idea,然后就...

2019-04-18 21:40:56

阅读数 1748

评论数 0

原创 Intellij IDEA中file size exceeds configured limit解决

把Hadoop源码导入IDEA中后,其中有个YarnProtos 文件代码为3.28MB,IDEA直接就不把它当java类看了, 报file size exceeds configured limit错误。 解决办法如下: 你可以尝试修改intellij IDE安装目录下的bin...

2019-04-18 21:30:46

阅读数 712

评论数 0

原创 Hadoop3.2.0 源码分析: NodeManager

概念 NodeManager(NM)是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点,包括与ResourceManger保持通信,监督Container的生命周期管理,监控每个Container的资源使用(内存、CPU等)情况,追踪节点健康状况,管理日志和不同应用程序用到的附属...

2019-04-18 15:16:09

阅读数 102

评论数 0

原创 Hadoop3.2.0 源码分析: ResourceManager启动

概述 相信开始看源码的你,正在一点点的进入知识的殿堂,一起挖掘吧. ResourceManager 是Yarn 的资源调度中心,很重要,所有的资源申请都需要通过ResourceManager来调度. The ResourceManager is the main class tha...

2019-04-18 11:50:15

阅读数 280

评论数 0

原创 IntelliJ IDEA中设置忽略@param 注释参数不椅子报错

IntelliJ IDEA中如何设置忽略@param注释中的参数与方法中的参数列表不一致的检查 解决方案如下:

2019-04-17 11:37:04

阅读数 286

评论数 0

原创 Hadoop3.2.0 源码编译 [一]

1.软件包 版本:hadoop-3.2.0 链接:https://pan.baidu.com/s/1wo8ysbGcHw5haOfKyKaEKA 密码:ygxj 2.环境准备: * Unix System * JDK 1.8 * Maven 3.3 or lat...

2019-04-13 09:47:26

阅读数 1089

评论数 2

原创 mac/linux 安装cmake 3.1.0

最近在编译hadoop3.2.0源码的时候,发现cmake编译不过去,貌似需要调整cmake版本. (结果就是白折腾) 估计是在安装 xcode9的时候, 软件自动做了升级. 如果单独安装的话,推荐采用 brew install cmake . 源码安装: cmake 版本...

2019-04-12 23:56:20

阅读数 406

评论数 0

原创 在Mac上搭建OpenJDK10源码调试环境

软件环境 OS: macOS Sierra 10.14 IDE: Clion 2019.1 Code: OpenJDK 10 下载IDE 从JetBrains官网下载Clion,安装。 导入项目 打开Clion依次选择File>Import Project ...

2019-04-12 13:53:40

阅读数 405

评论数 0

原创 在Mac上编译OpenJDK10源码

官方说明 : Get the complete source code:hg clone http://hg.openjdk.java.net/jdk10/master Run configure:bash configure Ifconfigurefails due to m...

2019-04-12 13:34:02

阅读数 359

评论数 0

翻译 第40讲笔记 | 搭建一个网络实验环境:授人以鱼不如授人以渔

下载地址: https://github.com/boyizhang/tcpipillustrated.git auto lo iface lo inet loopback auto enp0s3 iface enp0s3 inet dhcp auto enp...

2019-04-11 22:38:57

阅读数 236

评论数 0

翻译 第39讲笔记 | 知识串讲:用双十一的故事串起碎片的网络协议(下)

上一节,我们封装了一个长长的网络包,“大炮”准备完毕,开始发送。 发送的时候可以说是重重关隘,从手机到移动网络、互联网,还要经过多个运营商才能到达数据中心,到了数据中心就进入第二个复杂的过程,从网关到VXLAN隧道,到负载均衡,到Controller层、组合服务层、基础服务层,最终才下单入库...

2019-04-11 22:06:11

阅读数 84

评论数 0

翻译 第38讲笔记 | 知识串讲:用双十一的故事串起碎片的网络协议(中)

上一节我们讲到,手机App经过了一个复杂的过程,终于拿到了电商网站的SLB的IP地址,是不是该下单了? 别忙,俗话说的好,买东西要货比三家。大部分客户在购物之前要看很多商品图片,比来比去,最后好不容易才下决心,点了下单按钮。下单按钮一按,就要开始建立连接。建立连接这个过程也挺复杂的,最终还要...

2019-04-11 18:29:07

阅读数 104

评论数 0

翻译 第37讲笔记 | 知识串讲:用双十一的故事串起碎片的网络协议(上)

我把这个双十一下单的过程分为十个阶段,从云平台中搭建一个电商开始,到 BGP 路由广播,再到 DNS 域名解析,从客户看商品图片,到最终下单,每一步我都会详细讲解。这节我们先来看整个过程中的前三个阶段。 1. 部署一个高可用高并发的电商平台 首先,咱们要有个电商平台。假设我们已经有了一个特别大...

2019-04-11 16:46:36

阅读数 114

评论数 0

转载 如何画出一张合格的技术架构图?

当我们想用一张或几张图来描述我们的系统时,是不是经常遇到以下情况: 对着画布无从下手、删了又来? 如何用一张图描述我的系统,并且让产品、运营、开发都能看明白? 画了一半的图还不清楚受众是谁? 画出来的图到底是产品图功能图还是技术图又或是大杂烩? 图...

2019-04-11 09:23:57

阅读数 7905

评论数 0

翻译 第36讲笔记 | 跨语言类RPC协议:交流之前,双方先来个专业术语表

到目前为止,咱们讲了四种 RPC,分别是 ONC RPC、基于 XML 的 SOAP、基于 JSON 的 RESTful 和 Hessian2。 通过学习,我们知道,二进制的传输性能好,文本类的传输性能差一些;二进制的难以跨语言,文本类的可以跨语言;要写协议文件的严谨一些,不写协议文件的灵活一些...

2019-04-09 23:21:01

阅读数 175

评论数 0

翻译 第35讲笔记 | 二进制类RPC协议:还是叫NBA吧,总说全称多费劲

前面我们讲了两个常用文本类的 RPC 协议,对于陌生人之间的沟通,用 NBA、CBA 这样的缩略语,会使得协议约定非常不方便。 在讲 CDN 和 DNS 的时候,我们讲过接入层的设计,对于静态资源或者动态资源静态化的部分都可以做缓存。但是对于下单、支付等交易场景,还是需要调用 API。 对于微...

2019-04-09 23:20:22

阅读数 201

评论数 0

翻译 第34讲笔记 | 基于JSON的RESTful接口协议:我不关心过程,请给我结果

上一节我们讲了基于 XML 的 SOAP 协议,SOAP 的 S 是啥意思来着?是 Simple,但是好像一点儿都不简单啊! 你会发现,对于 SOAP 来讲,无论 XML 中调用的是什么函数,多是通过 HTTP 的 POST 方法发送的。但是咱们原来学 HTTP 的时候,我们知道 HTTP 除了...

2019-04-09 23:19:47

阅读数 152

评论数 0

提示
确定要删除当前文章?
取消 删除