王昱棋

导航

2020年8月24日 #

hive 列转行 行转列

摘要： 第一：列转行 (对某列拆分，一列拆多行) lateral view explode(split(column, ',')) num 数据 2122 9,12 2123 12,15 2124 12,15 2125 1,12,15 建表 create table if not exists t_row_ 阅读全文

posted @ 2020-08-24 01:47 王昱棋 阅读(249) 评论(0) 推荐(0) 编辑

select … from … where … group by … having … order by … limit的执行顺序

摘要： 在大佬那里找到的：/gxgd/p/9431783.html select … from … where … group by … having … order by … limit的执行顺序 其实总结hive的执行顺序也是总结mapreduce的执行顺序 阅读全文

posted @ 2020-08-24 00:58 王昱棋 阅读(512) 评论(0) 推荐(0) 编辑

hive的?件格式存储对比

摘要： 第a56爆大奖在线娱乐：textfile 这种格式下，hive表可以直接load data 第二种：parquet 这种格式下，可以很好的支持impala查询 在sql操作中的时间也比较短 第三种 orc hive和spark都支持这种格式（按行分块，按列存储） 一般情况下：orc格式用的比较多， case1:有同 阅读全文

posted @ 2020-08-24 00:29 王昱棋 阅读(124) 评论(0) 推荐(0) 编辑

hive数据倾斜的情况处理

摘要： hive的数据倾斜的原因分析：少量key值对应了大量的数据，a56爆大奖在线娱乐导致在reduce阶段，少数的几个reduce运行特别慢（数据量太大）xuexi: (http://itindex.net/detail/57899-spark-%E6%95%B0%E6%8D%AE-%E6%96%B9%E6%B3%95 阅读全文

posted @ 2020-08-24 00:18 王昱棋 阅读(261) 评论(0) 推荐(0) 编辑