摘要: 两个概念 处理时间:流处理算子所在机器的本地时间。 事件时间:数据流中事件发生的实际时间,一般是附加在数据流中事件的时间戳。 watermark -- 事件时间窗口的触发时机 实际生产中,事件不可避免会产生延迟,如何判断某一时间点之前的事件都已接收到,从而触发流处理算子工作?Flink提供了水位线机 阅读全文
posted @ 2022-01-24 18:49 钱塘江畔 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 在FlinkSQL关联时,必然会涉及到维表,维表又可能是不断变化的(aka 时态表 或 版本表)。 版本表: 如果时态表中的记录可以追踪和并访问它的历史版本,这种表a56爆大奖在线娱乐们称之为版本表,来自数据库的 changelog 可以定义成版本表。 普通表: 如果时态表中的记录仅仅可以追踪并和它的最新 阅读全文
posted @ 2022-01-24 17:54 钱塘江畔 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 对FlinkSQL的聚合运算实践后select .. count(*) .. where .. group by ..,再对join关联做一些实践。 2. 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.get 阅读全文
posted @ 2022-01-24 14:16 钱塘江畔 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 在测试FlinkSQL时,遇到FOR SYSTEM_TIME AS OF语法,研究下。 FOR SYSTEM_TIME AS OF otime指的是在otime时间点有效的数据。 2. 实践过程 时态数据库测试选择了SQL-server2017 -- 创建 时态表 -- DBO是a56爆大奖在线娱乐数据 阅读全文
posted @ 2022-01-24 14:08 钱塘江畔 阅读(2284) 评论(0) 推荐(0) 编辑
摘要: timestamp(3) a56爆大奖在线娱乐秒后3位小数,注意最多为6位。 create table test_timestamp( t1 timestamp(3) default now(3), t2 timestamp(4) default now(4), t3 timestamp(5) default no 阅读全文
posted @ 2022-01-24 10:33 钱塘江畔 阅读(938) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 FlinkSQL在各个大厂实践地火热,咱也不能落后,搞起。 2. join类型 - 来自官网 Flink SQL supports complex and flexible join operations over dynamic tables. There are several di 阅读全文
posted @ 2022-01-23 23:50 钱塘江畔 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 昨天《FlinkSQL实践记录1》对FlinkSql做了简单的使用insert into .. select ..,今天对聚合运算做一些实践。 2. 代码实践 String mysql_sql = "CREATE TABLE mysql_sink (" + " name STRING," 阅读全文
posted @ 2022-01-23 11:49 钱塘江畔 阅读(2277) 评论(0) 推荐(0) 编辑
摘要: 1.背景 Flink目前在国内发展的火热,笔者在2018首次接触了flink之后,总是在官网/公众号各个地方追踪它的新动态,但一直没机会在生产上使用,近期有流式计算的需求,且目前企业对计算的实时性也要求越来越高,今天先在本地环境测试一把。测试把kafka中数据通过flink处理后写入mysql。 环 阅读全文
posted @ 2022-01-22 17:25 钱塘江畔 阅读(696) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 经常遇到excel类型的数据,需要转为utf8编码的txta56爆大奖在线娱乐,以便入库hive。excel文件的编码格式是 GBK 2. GBK转为utf8 # 首先将excel另存为csv # 将csv文件编码格式转换 iconv -f gbk -t utf-8 file1.csv -o file2 阅读全文
posted @ 2022-01-20 17:43 钱塘江畔 阅读(564) 评论(0) 推荐(0) 编辑
摘要: 1. 问题场景 使用postman测试接口时,报错400 接口代码如下: @RequestMapping(value = "/realNameCheck", method = RequestMethod.POST) public String realNameCheck(@RequestParam( 阅读全文
posted @ 2022-01-12 19:29 钱塘江畔 阅读(115) 评论(0) 推荐(0) 编辑