张伯毅的专栏

人生就是一道证明题,证明我们的存在不是偶然....

Redis 单节点千万级别数据读取 , 插入 Mysql 性能测试.

  环境说明:             Redis 未做任何优化, 单节点    (服务器上, 内存64G).             Mysql 未做任何优化, 单节点     (服务器上, 内存64G).             数据量 : 10058624条          (大约...

2019-02-26 14:35:38

阅读数 210

评论数 0

Redis 单节点千万级别数据 写入,读取 性能测试.

  本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624   环境说明:             Redis 未做任何优化, 单节点    (服务器上, 内存64G).             数据量 : 10058624条  (大约一千零6万条...

2019-02-25 18:51:56

阅读数 968

评论数 0

两个数据进行过滤,广播map 数据与 join 操作 性能对比

主要测试两种情况 1.将 rdd 转换为 map 广播, 与另外集合rdd 进行匹配 2.将 rdd 与 rdd 进行连表 , 过滤数据.   时间单位(毫秒)   10万 100万 500万 1000万 广播map 过滤 4 8 22 ...

2019-02-15 17:59:46

阅读数 85

评论数 0

Spark 算子 : groupByKey 和 collectAsMap 配合使用运行时间与结果测评

在看代码的时候,发现同事在用 将数据转换为 map 之前,加了一个 groupByKey , 觉得这样并不靠谱,所以写了一段代码进行验证.   结果如下: (无论哪种方式, 数据是一样的 !!! 使用groupByKey 会慢 很多   )   情况1: 随机生成 指定条数的数据, 无重复...

2019-02-15 15:46:14

阅读数 89

评论数 0

Spark 算子 : distinct 和 collectAsMap 配合使用运行时间与结果测评

  在看代码的时候,发现同事在用 将数据转换为 map 之前,加了一个 distinct , 觉得这样并不靠谱,所以写了一段代码进行验证.   结果如下: (无论哪种方式, 数据是一样的 !!! 使用distinct 会慢 很多   )   情况1: 随机生成 指定条数的数据, 无重复 ...

2019-02-15 15:21:36

阅读数 110

评论数 0

操作系统文本文件硬盘存储空间大小与内容的关系

目标 了解测试数据的时候,一个文本文件在磁盘中所占空间的大小。 注: 本文信息统计 基于mac 操作系统。   Mac操作系统总结: 空文件 占用0字节 英文字符(!@#$%^&*()_+  回车 空格 )普遍占用1个字节 中文普遍占用3个字节   Cent...

2019-02-12 12:39:09

阅读数 142

评论数 0

提示
确定要删除当前文章?
取消 删除