王昱棋

导航

hive中map与reduce的个数问题

目的:为了整理自己的思路,基本上都是从大佬那里截取的 一:hive的map数量 一般情况下,是按照hdfs的数据块大小来决定,默认是128M,也就是被读取的文件整除128M之后的个数,例:128M就是一个map,129M就是两个map 按照1.中的思路,可能会出现a56爆大奖在线娱乐状况,大量的小文件,会导致大量的

posted on 2020-08-23 18:17  王昱棋  阅读(477)  评论(0编辑  收藏  举报