张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Flume 1.9.0 源码解析 : TailDirSource 全解

TailDirSource继承了AbstractSource类,而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件 TailDirSource类通过配置参数匹配日志文件,获取日志文件更新内容并且将已经读取的偏移量记录到特...

2019-05-07 16:15:31

阅读数 65

评论数 0

Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程

一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks ...

2019-03-16 15:48:53

阅读数 111

评论数 0

Flume 1.9.0 源码解析 : 环境配置 & 启动入口

从本文开始对Flume 1.9.0 源码进行分析, 首先从启动入手. 一.源码包下载. 源码包:https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz ...

2019-03-15 11:05:36

阅读数 161

评论数 0

Flume 1.9.0开发者指南

概述 架构 数据流模型 可靠性 构建Flume 获取Source 编译/测试的Sink 更新协议缓冲区版本 开发自定义组件 Client Client SDK RPC客户端接口 RPC客户端- Avro和Thrift 安全RPC客户端-Thrift 故障转移客户端 (F...

2019-03-15 10:13:35

阅读数 393

评论数 0

Flume 1.9.0用户指南

概述 系统要求 架构 数据流模型 复杂的流程 可靠性 可恢复性 设置 设置 agent 配置单个组件 将各个部分连接在一起 启动 agent 一个简单的例子 在配置文件中使用环境变量 记录原始数据 基于Zookeeper的配置 plugins.d目录 插件的目录布...

2019-03-14 20:55:31

阅读数 653

评论数 1

提示
确定要删除当前文章?
取消 删除