张伯毅的专栏_张伯毅_CSDN博客-JAVA,Hadoop,Spark领域博主

原创 TO DO LIST

2019年任务名称作者状态开始时间 Redis深度历险核心原理与应用实践钱文品完成 2019-01 Java 多线程编程核心技术高洪岩完成 2019-01 Spark大数据商业实战三部曲王家林完成 2019-01 说透中台王健完成 2019-0...

2020-08-27 10:10:07 2245 0

原创 [JVM]了断局: [ 目录 ]

[JVM]了断局: 说什么也没用,背就完了[必背] [JVM]了断局: “运行时数据区“理论梳理 [JVM]了断局: 类文件结构梳理 [JVM]了断局: JDK默认配置. [JVM]了断局: G1 入门 [JVM]了断局: 类加载机制原图:https://www.pr...

2020-08-24 21:09:07 1563 0

原创 Hadoop3.2.1 RPC通讯一锅端

下面是最近整理的关于Hadoop3.2.1 RPC 的通讯文章汇总, 以及我最后画的一张从Client端请求到Server端的流程图.有什么不对的地方,欢迎指正... Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议 Hadoop3.2.1 【...

2020-06-21 23:08:28 2623 0

原创 CentOS7.6 万兆网卡性能测试.

Table of Contents 一. 物理机&软件: 二.网卡信息三. 安装netperf 四. 开启多队列功能五. 测试六. 查看结果七.总结最终结果极限万兆网卡: 网络吞吐量大约为9409.58Mbit/s ≈1176M/s 本文章主要是为了测试万兆...

2020-04-22 15:51:43 5201 0

转载 Centos查看端口占用情况和开启端口命令

Centos查看端口占用情况命令，比如查看80端口占用情况使用如下命令： lsof -i tcp:80 列出所有端口 netstat -ntlp 1、开启端口（以80端口为例）方法一： /sbin/iptables -I INPUT -p tcp --dport 80 -j A...

2020-09-16 10:59:54 700 0

原创 Hadoop3.2.1 【 HDFS 】源码分析 :FSEditLog 解析

一. 前言在Namenode中，命名空间（ namespace，指文件系统中的目录树、文件元数据等信息）是被全部缓存在内存中的，一旦Namenode重启或者宕机，内存中的所有数据将会全部丢失，所以必须要有一种机制能够将整个命名空间持久化保存，并且能在Namenode重启时重建命...

2020-09-10 20:26:45 171 0

原创 Hadoop3.2.1 【 HDFS 】源码分析 : INode相关类/接口解析

Table of Contents 一.前言二.INode相关类/接口 2.1.字段属性: 2.2.构造方法 2.3.1. INode元信息方法 2.4.INode类实现了INodeAttributes接口,清单如下: 2.5.抽象类INodeWithAdditionalField...

2020-09-08 15:04:38 403 0

原创 Hadoop3.2.1 【 HDFS 】源码分析 : NameNode -format 解析

一.前言众所周知, 在安装hadoop的时候, 必须对hdfs的Namenode进行格式化操作. 本文主要介绍格式化操作. 格式化命令如下. bin/hdfs namenode -format 二.代码入口 Namenode的格式化操作是 : org.apache....

2020-09-06 23:13:01 422 0

原创 Hadoop3.2.1 【 HDFS 】源码分析 : Namenode[非HA]启动解析

一. 前言 Namenode在hadoop的hdfs体系中的作用是毋庸置疑的.本文主要分析namenode的启动过程.梳理一下Namenode的逻辑关系. Namenode实体在代码实现中主要对应于三个类，即NameNode类、NameNodeRpcServer类以及FSNamesyste...

2020-09-05 16:58:32 421 0

原创 Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析

一.前言 FileSystem这个类是最常用的类,因为只要是我们想连接HDFS进行一些操作,程序的入口必定是它.接下来,我们通过FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的. 二.代码示例由于我要连接的集群是一个配置HA的had...

2020-08-30 19:24:15 461 0

翻译 Apache Hadoop 3.3.0 版本特性介绍

Apache Hadoop 3.3.0在以前的主要发行版本（hadoop-3.2）上进行了许多重大增强。新特性如下: 1.ARM支持这是第一个支持ARM体系结构的版本。 2.将Protobuf从2.5.0升级到新版本因为protobuf-2.5.0已经停止更新，Protobuf升级...

2020-08-30 18:13:03 1579 0

原创 [JVM]了断局: 局部变量表和操作数栈实例分析

一.前言以圆形的周长公式为例进行分析局部变量表和操作数栈是如何工作的. 示例一: 1.代码 package com.classloading; public class Circumference { public static void main(String[] a...

2020-08-26 21:50:41 451 0

原创 [JVM]了断局:常量池 VS 运行时常量池 VS 字符串常量池

一.前言最近在看JVM, 常量池, 运行时常量池,字符串常量池这个看的有点懵. 整理一下. class常量池是在编译的时候每个class都有的. 在编译阶段，存放的是常量的符号引用。 [在class文件中.] 字符串常量池在每个VM中只有一份，存放的是字符串常量的引用值...

2020-08-26 15:07:18 1550 0

原创 [JVM]了断局:字节码执行引擎

一.前言执行引擎是Java虚拟机核心的组成部分之一。 “虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件制约地定制指令集与执行引...

2020-08-26 10:20:54 1560 0

原创 [JVM]了断局:内存模型与线程

前言 Java内存模型的主要目的是定义程序中各种变量的访问规则，即关注在虚拟机中把变量值存储到内存和从内存中取出变量值这样的底层细节。Java内存模型规定了所有的变量都存储在主内存（Main Memory）中（此处的主内存与介绍物理硬件时提到的主内存名字一样，两者也可以类比，但物理上它仅...

2020-08-25 23:03:49 1525 0

原创 [JVM]了断局: 类加载机制

Java虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这个过程被称作虚拟机的类加载机制。在Java语言里面，类型的加载、连接和初始化过程都是在程序运行期间完成的.Java天生可以动态扩展的语言特性就是依赖...

2020-08-24 20:57:58 1523 0

原创 [JVM]了断局: G1 入门

一.概念二.核心设计思路三.如何设定G1对应的内存大小四.新生代还有Eden和Survivor的概念吗？五.G1的新生代垃圾回收六.什么时候触发新生代+老年代的混合垃圾回收？七.G1垃圾回收的过程八.回收失败时的Full GC 九.程序假死查验十. G1参数 ...

2020-08-24 10:29:23 1507 0

原创 [JVM]了断局: 说什么也没用,背就完了[必背]

一.JVM在什么情况下会加载一个类 1.加载 :你的代码中用到这个类的时候 2.验证:根据Java虚拟机规范，来校验你加载进来的“.class”文件中的内容，是否符合指定的规范。 3.准备:给类分配一定的内存空间然后给他里面的类变量（也就是static修饰的变量）分配内存空间，并且给一个默认...

2020-08-24 01:13:37 1606 0

原创 [JVM]了断局: Class文件结构梳理

一.对象创建当Java虚拟机遇到一条字节码new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，那必须先执行相应的类加载过程 ...

2020-08-20 20:35:51 1554 0

原创 VSCode 安装插件 hexdump 查看二进制文件 [ java class 文件]

背景有需求要查看java class文件的内容, 正好插件hexdump支持,记录一波. 安装 1. command + P 然后输入 >ext install 2.选择 hexdump for VSCode版本点击 install 安装安装后截...

2020-08-19 14:01:36 1749 0

原创 SpringBoot加载外部配置文件

背景最近被抓壮丁处理Spring上的问题, 由于业务需要,需要单独设置一个配置文件 [ common.properties] ,根据配置文件里面的内容进行加载配置项,处理数据. 但是遇到一个问题, 代码里面加载的时候,只能加载jar里面的common.properties配置文件, 外面...

2020-08-18 14:02:07 1622 0

原创 [JVM]了断局: “运行时数据区“理论梳理

一.前言 Java虚拟机是整个Java平台的基石，是Java技术用以实现硬件无关与操作系统无关的关键部分，是Java语言生成出极小体积的编译代码的运行平台，是保障用户机器免于恶意代码损害的屏障。 --------《Java虚拟机规范》图片地址:https://www.proc...

2020-08-13 09:31:32 1560 0

原创 SpringCloud通过Feign API接口向Spring Boot接口上传文件.

记录一个坑,折腾了半天的时间. 场景先说一下场景, 公司采用spring cloud 架构, 因为业务要求, 要把本地的文件通过feign的接口将文件上传到另外的服务上面. 异常: required request part 'file' is not...

2020-08-04 21:01:45 2206 0

原创 IDEA 采用DEBUG模式, 启动Spring 项目超级慢. [坑]

启动spring项目的时候,一直注册不到用户中心. 原因是启动很慢. 记录一个遇到的问题. 嗯,找解决问题浪费了一下午,坑....... 现象: 如果采用普通模式,启动正常. 如果采用DEBUG模式.启动的时候,cpu飙升,内存占用并不高. 项目迟迟启动不成功. 原因: IDE...

2020-07-30 16:09:29 2306 0

原创 idea 报错: Could not autowire. No beans of ‘xxxxxxxMapper‘ type found. [ 降低idea autowired检测级别 ]

报错信息: Could not autowire. No beans of 'xxxxxxxMapper' type found. 截图如下: 解决方案: 降低idea autowired检测级别效果:

2020-07-14 15:19:44 3520 0

原创 Dolphinscheduler 1.3.x 系列配置文件构梳理

前言本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本. 目录结构目前dolphinscheduler 所有的配置文件都在 [conf ] 目录中. 为了更直观的了解[conf]目录所在的位置以及包含的配置文件,请查看下面d...

2020-07-13 16:02:23 3955 0

翻译 DruidDataSource配置属性列表

DruidDataSource配置兼容DBCP，但个别配置的语意有所区别。配置缺省值说明 name 配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。如果没有配置，将会生成一个名字，格式是："DataSource-&quo...

2020-07-13 09:19:59 3540 0

原创 MacOS 修改MAT内存

修改配置文件: [ MemoryAnalyzer.ini ] 路径: /Applications/mat.app/Contents/Eclipse/MemoryAnalyzer.ini 参数: -Xms2048m -Xmx2048m -startup ../Eclipse/plugins...

2020-07-12 17:02:53 3807 0

原创 MacOS 编译OpenJDK13

https://wiki.openjdk.java.net/display/Build/Supported+Build+Platforms

2020-07-07 12:16:01 3677 0

原创使用Docker编译OpenJDK8

简介本文主要介绍如何用docker编译openjdk8. 步骤 1.前置环境必须安装dokcer环境,然后才能执行下面的操作. 镜像地址: https://github.com/BoYiZhang/compile-openjdk8-in-docker.git 2.获取资源文件 ...

2020-07-07 11:29:53 2453 0

翻译 Homebrew/Linuxbrew 更换数据源为: 清华镜像

# 步骤一 cd "$(brew --repo)" git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git # 步骤二 cd "$(brew -...

2020-07-06 17:40:59 3727 0

原创页面 CSS样式控制文本 : 强制不换行，文字溢出显示省略号

css一共就三句话： <style lang="scss" rel="stylesheet/scss"> .xxxx{ white-space: nowrap; text-overflow:elli...

2020-07-06 10:30:46 3222 0

原创 dolphinscheduler-1.3.x Task任务类型结构梳理

任务总体存储结构在dolphinscheduler中创建的所有任务都保存在t_ds_process_definition 表中. 该数据库表结构如下表所示: 序号字段类型描述 1 id int(11) 主键 2 name varchar(255) 流程定义名称 3 ...

2020-06-29 16:50:41 2825 0

原创 HIVE 权限配置 [没有趟过坑的人生是不完美的]

这两天被hive的权限问题,折腾的不轻.记录一下 1.命令行配置,其实这样是最基本的配置. core-site.xml

2020-06-20 19:02:25 2691 0

原创 Docker镜像更换为阿里云

RUN cp /etc/apt/sources.list /etc/apt/sources.list.bak RUN echo "">sources.list RUN echo "deb http://mirrors.aliyun.com/ubun...

2020-06-19 00:54:01 2999 0

原创 Presto 配置 Hive & Hive的权限

总览 Hive连接器允许查询存储在Hive数据仓库中的数据。Hive是三个组件的组合：各种格式的数据文件通常存储在Hadoop分布式文件系统（HDFS）或Amazon S3中。有关如何将数据文件映射到架构和表的元数据。此元数据存储在数据库（例如MySQL）中，并可通过Hive Metas...

2020-06-18 14:19:19 2942 0

原创配置yanagishima 既能连接Presto 又能连接Hive

# yanagishima 原生配置文件 # yanagishima web port jetty.port=7080 # if query result exceeds this limit, to show rest of result is skipped select.limit=500...

2020-06-18 14:05:57 2958 0

原创异常: Attempting to operate on hdfs namenode as root but there is no HDFS_NAMENODE_USER defined.

异常信息: [root@master hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: ...

2020-06-12 11:25:20 2651 0

原创 cant download je-7.4.5.jar with maven [ com.sleepycat:je:jar:7.4.5 ]

异常信息: [ERROR] Failed to execute goal on project atlas-graphdb-janus: Could not resolve dependencies for project org.apache.atlas:atlas-graphdb-jan...

2020-05-18 17:07:25 3055 0

翻译阿里Java开发手册[泰山版] 关键速记 ?

刚刚过了一下阿里Java开发手册,发现很多内容都满重要.这里挑了比较重要,或者容易踩的坑进行了记录. 看到条数不要害怕,其实很多都是常识,为了加深一下印象而已. Table of Contents 1.POJO 类中布尔类型变量都不要加 is 前缀，否则部分框架解析会引起序列化错误...

2020-05-16 02:25:47 2857 0