码以致用

2020年4月21日

摘要：一、通过Presto insert到其他数据源的性能 1、压测结果（K是一千，M是一百万）源库源表行数 worker数（每worker 100G内存） tpch -> hive tpch -> es6 tpch -> mysql 耗时（分:秒）速率（rows/s）耗时（分:秒）速率（r 阅读全文

posted @ 2020-04-21 17:09 码以致用阅读(2872) 评论(0) 推荐(0) 编辑

PrestoSPI安全扩展

摘要：由于Presto官方文档和谷歌搜索都没有相关的内容，git项目中也没有支持sentry的安全插件扩展，因此只能从源码中寻找答案，在梳理完SPI包的安全相关源码结构后，已实现了一个自定义的安全插件，经验证可正常使用简要总结如下：扩展系统级权限SAC 系统级权限是对Presto支持的所有数据源都有效阅读全文

posted @ 2020-04-21 17:02 码以致用阅读(845) 评论(0) 推荐(0) 编辑

2018年10月11日

项目重构总结

摘要：使用函数式编程、提取公有逻辑等概念，提高开发和维护效率阅读全文

posted @ 2018-10-11 10:53 码以致用阅读(1180) 评论(2) 推荐(1) 编辑

2018年7月17日

一个好的olap框架

摘要：一、何为一个好的olap框架？框架大概分为两种：（1）底层技术框架，专注于抽象底层技术，如网络通信netty、中间件kafka等（2）开发人员框架，专注于提高开发效率，如spring的面向切面和依赖注入。但这只是面向编程语言开发人员的，其实还应该有olap框架，面向数据业务开发人员 olap框阅读全文

posted @ 2018-07-17 12:46 码以致用阅读(1151) 评论(0) 推荐(0) 编辑

2017年1月10日

Java NIO学习笔记

摘要：一、概念面向块的非阻塞IO系统。由通道、缓冲和Selector实现，通道传输数据，缓冲暂存和操作数据，Selector支持单线程操作多缓冲（1）优势：? NIO有缓冲功能，通过使用map方法可以直接将“一块数据”映射到内存中，比较高效。FileChannel的map方法返回MappedByteBuf 阅读全文

posted @ 2017-01-10 09:04 码以致用阅读(449) 评论(0) 推荐(0) 编辑

2016年10月18日

【JAVA】并发-基础IO

摘要：一、java.io包支持。java的IO流有输入、输出两种，每种输入、输出流又可分为字节流、字符流两大类，字节流以字节为单位处理IO操作，字符流以字符为单位处理IO操作 JDK 1.4以后有java.nio包，新IO，提供了全新的API，支持更高效的IO操作二、File类 1、java.io包下代阅读全文

posted @ 2016-10-18 14:43 码以致用阅读(392) 评论(0) 推荐(0) 编辑

2016年9月30日

Eclipse Hadoop源码阅读环境

摘要：一、解压hadoop src包到workspace目录。为加快下载jar包的速度，在eclipse的maven设置里将配置文件的路径设置正确，然后配置maven的settings.xml： <mirrors> <mirror> <id>nexus-maven</id> <mirrorOf>*</mi 阅读全文

posted @ 2016-09-30 11:21 码以致用阅读(604) 评论(0) 推荐(0) 编辑

2016年9月24日

原创hadoop2.6.4 namenode HA+Federation集群高可用部署

摘要：今天下午刚刚搭建了一个高可用hadoop集群，整理如下，希望大家能够喜欢。 namenode HA：得有两个节点，构成一个namenode HA集群 namenode Federation：可以有多个HA集群，分管不同的数据至少得有4个节点，才能满足要求节点 NN JournalNode DN 阅读全文

posted @ 2016-09-24 18:08 码以致用阅读(780) 评论(0) 推荐(0) 编辑

2016年9月23日

原创Pig0.16.0安装搭建

摘要： tar -zxvf pig-0.16.0.tar.gz -C ~ tar -zxvf pig-0.16.0.tar.gz -C ~ vi ~/.bash_profile export PIG_HOME=/home/hadoop/pig-0.16.0 export PIG_CLASSPATH=${HA 阅读全文

posted @ 2016-09-23 15:48 码以致用阅读(440) 评论(0) 推荐(0) 编辑

原创zookeeper3.4.6集群安装

摘要： tar -zxvf zookeeper-3.4.6.tar.gz -C /home/hadoop/ vi ~/.bash_profile vi ~/.bash_profile export ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.6 export PATH 阅读全文

posted @ 2016-09-23 15:47 码以致用阅读(283) 评论(0) 推荐(0) 编辑

公告