王昱棋

导航

mapreduce的过程分析

map的shuffle过程分为6个步骤 split --> map --> partition --> kvbuffer(--> sort --> spill) -->merge (--> segment列表 )-->file(文件) 第一步split(切分数据) 通过API接口,接入准备的数据,按

posted on 2020-08-23 21:01  王昱棋  阅读(232)  评论(0编辑  收藏  举报