Spark未序列化问题(Task not Serialize)

spark未序列化问题虽然不难，但资料却不系统，现总结如下： 问题发生原因 当spark算子在使用外部变量时，就会发生序列化问题，如下图所示： 上述图中算子map会在各个节点运行，属于不同jvm间数据交换，需要对交换的内容进行序列化。这就是为什么需要序列化的原因。 方法 1） 序列化类，并使用bro
posted @ 2019-08-02 15:12  Wind_LPH  阅读(1918)  评论(5)  编辑  收藏  举报