实战|使用Spark Structured Streaming写入Hudi

1. 项目背景 传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时
posted @ 2020-04-18 22:21  leesf  阅读(5109)  评论(0)  编辑  收藏  举报