摘要: Hbase之过滤器 HBase 的基本 API,包括增、删、改、查等。 增、删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。 HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filt 阅读全文
posted @ 2024-06-19 14:58 易政 阅读(2) 评论(0) 推荐(0) 编辑
摘要: HBase进阶与Phenix 一、HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程: 1)是由客户端发起读取数据的请求,首先会与zookeeper建立连接 2)从zookeeper中获取一个hbase:meta表位置信息,被哪一个regionserver所管理着 h 阅读全文
posted @ 2024-06-19 14:57 易政 阅读(1) 评论(0) 推荐(0) 编辑
摘要: HBase进阶与API 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:‘命名空间名称:表名’ 针对default这个命名空间,在使用的时候可以省略不写 create ' 阅读全文
posted @ 2024-06-19 14:57 易政 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 目录HBase架构与基础命令一、了解HBase1.1 HBase概述1.2 HBase处理数据1.3 HBase与HDFS二、HBase相关概念2.1 分布式数据库2.2 列式存储2.3 稀疏性2.4 数据模型2.4.1 Hbase数据模型2.4.2 Hbase数据坐标2.4.3 HBase区域三、 阅读全文
posted @ 2024-06-19 14:56 易政 阅读(3) 评论(0) 推荐(0) 编辑
摘要: hbase-2.2.7分布式搭建文档 1、上传解压配置环境变量 # 1、解压 tar -xvf hbase-2.2.7-bin.tar.gz.gz # 2、配置环境变量 vim /etc/profile # 3、在最后增加配置 export HBASE_HOME=/usr/local/soft/hb 阅读全文
posted @ 2024-06-19 14:55 易政 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 复制粘贴到md中查看 Hive优化 1.1 hive的随机抓取策略 理论上来说,Hive中的所有sql都需要进行mapreduce,但是hive的抓取策略帮a56爆大奖在线娱乐们 省略掉了这个过程,把切片split的过程提前帮a56爆大奖在线娱乐们做了。 set hive.fetch.task.conversion=none; (一旦 阅读全文
posted @ 2024-06-13 19:17 易政 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 复制粘贴到MD文档中查看更方便 Hive函数学习 目录Hive函数学习SQL练习Hive 常用函数关系运算数值计算条件函数(主要使用场景是数据清洗的过程中使用,有些构建表的过程也是需要的)日期函数重点!!!字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合 阅读全文
posted @ 2024-06-13 19:15 易政 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 复制粘贴到MD文档中方便查看 Hive3.1.2分区与排序(内置函数) 1、Hive分区(十分重要!!) 分区的目的:避免全表扫描,加快查询速度! 在大数据中,最常见的a56爆大奖在线娱乐思想就是分治,a56爆大奖在线娱乐们可以把大的文件切割划分成一个个的小的文件,这样每次操作一个个小的文件就会很容易了,同样的道理,在hive当中也 阅读全文
posted @ 2024-06-06 09:30 易政 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Hive3.1.2概述与基本操作 (此笔记使用MD文档写的,可直接复制到MD中,方便查看) 1、Hive基本概念 1.1 Hive简介 Hive本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据存储,说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具 阅读全文
posted @ 2024-06-06 09:28 易政 阅读(13) 评论(0) 推荐(0) 编辑
摘要: hive-3.1.2分布式搭建文档 谷歌浏览器下载网址:Google Chrome – Download the fast, secure browser from Google 华为云镜像站:https://mirrors.huaweicloud.com/home 1、上传解压配置环境变量 # 1 阅读全文
posted @ 2024-06-06 09:24 易政 阅读(4) 评论(0) 推荐(0) 编辑