摘要：
Flink: 1.11.0 Iceberg: 0.11.1 hive: 2.3.8 hadoop: 3.2.2 java: 1.8 scala: 2.11 一、下载或编译iceberg-flink-runtime jar包 下载 wget https://repo.maven.apache.org/ 阅读全文
摘要：
使用如下方式，a56爆大奖在线娱乐在做flink、presto源码贡献时就是这样处理的，非常实用 1、git clone 源分支 2、git remote add my fork分支 3、每次保存源分支是最新的，git checkout master, git pull 4、新建本地分支修改源码后，先rebase变基 阅读全文
摘要：
在grpc里可以指定一个服务器端的流方法。比如流视频传输。不是返回一个响应，而是返回零个或多个响应 使用官方python版route guide例子，server端流模式，client端普通模式，经过如下小的修改，对实际的一些行为进行一些探究 服务端 i = 0 #新增 def ListFeatur 阅读全文
摘要：
架构 开源分布式流存储服务 本质是在计算引擎与底层存储间充当解耦层，旨在解决新一代大数据平台在数据存储层上的挑战 1、数据湖 Pravega 提供的 Stream 原语可以避免现有大数据架构中原始数据在多个开源存储搜索产品中移动而产生的数据冗余现象，其在存储层就完成了统一的数据湖（一处存储，多处使用 阅读全文
摘要：
window+trigger+watermark处理全局乱序数据，指定窗口上的allowedLateness可以处理特定窗口操作的局部事件时间乱序数据 1、流处理系统中的微批 Flink内部也使用了某种形式的微批处理技术，在shuffle阶段将含有多个事件的缓冲容器通过网络发送，而不是发送单个事件 阅读全文
摘要：
真传一句话，假言万卷书。 Flink使用窗口与水印处理乱序问题，使用Latenss处理延迟问题，二者混合使用可以满足很多复杂场景的需求 当Watermark大于窗口结束时间时，会触发窗口内的元素进行计算并缓存起来，随着Watermark增长，在Watermark <窗口结束时间 + Lateness 阅读全文
摘要：
1、继承RichSinkFunction （1）首先在构造方式传入kudu的masterAddress地址、默认表名、TableSerializationSchema、KuduTableRowConverter、Properties配置对象 （2）重写open方法 初始化KuduClient对象操作 阅读全文
摘要：
一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而a56爆大奖在线娱乐们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 阅读全文
摘要：
使用guava的memoizeWithExpiration方法 ForwardingSystemAccessControl.of(memoizeWithExpiration( () -> { log.info("Refreshing system access control from %s", c 阅读全文
摘要：
1、Apache Ldap API 持续发展的增强型LDAP API，用于代替JNDI、jLdap、Mozila LDAP等现存的LDAP API，是schema aware的，支持所有的LDAP server 获取用户与用户组间的映射关系 核心代码： EntryCursor cursor = co 阅读全文