真香！PySpark整合Apache Hudi实战

1. 准备 Hudi支持Spark 2.x版本，你可以点击如下 "链接" 安装Spark，并使用pyspark启动 spark avro模块需要在 packages显示指定 spark avro和spark的版本必须匹配 本示例中，由于依赖spark avro_2.11，因此使用的是scala2.1
posted @ 2020-05-10 16:12  leesf  阅读(1734)  评论(0)  编辑  收藏  举报