2019年8月2日
Spark未序列化问题(Task not Serialize)
摘要： spark未序列化问题虽然不难，但资料却不系统，现总结如下： 问题发生原因 当spark算子在使用外部变量时，就会发生序列化问题，如下图所示： 上述图中算子map会在各个节点运行，属于不同jvm间数据交换，需要对交换的内容进行序列化。这就是为什么需要序列化的原因。 方法 1） 序列化类，并使用bro 阅读全文
posted @ 2019-08-02 15:12 Wind_LPH 阅读(1918) 评论(5) 推荐(0) 编辑