业余砖家

2023年10月19日

Linux-sshpass（shell脚本使用ssh远程执行命令通过密码的方式登录）

摘要： 1. sshpass简介 sshpass 是一个在非交互式 ssh 会话中自动输入密码的工具。它可以直接在命令行中指定密码，因此可以用于 Shell 脚本等自动化场景。在 Red Hat 系统中，可以通过 epel-release 源安装 sshpass。 epel-release 源是 Extra 阅读全文

posted @ 2023-10-19 10:11 业余砖家阅读(2475) 评论(0) 推荐(0) 编辑

Linux-Shell 小数运算，四舍五入

摘要：在shell中做小数运算，可以借助bc 或者awk工具一、使用bc做小数运算，scale指定小数点位数 1、加法运算（scale参数无效） #echo "5.999 + 5.001"|bc 6.000 #echo "5.111+ 5.1114"|bc 10.2224 运算结果小数点位数以加数中最大阅读全文

posted @ 2023-10-19 09:48 业余砖家阅读(1343) 评论(0) 推荐(0) 编辑

2023年10月18日

HBase-通过外部表将Hive数据写入到HBase

摘要： a) 准备测试数据这里准备的csv文件data_test.csv,内容没用''包裹,逗号作为列分隔符 171301,燕青,男,27,发展部 171207,武松,男,39,开发部 171307,李逵,男,41,开发部 320812,宋江,男,45,战略部 321009,顾大嫂,女,38,后勤部 17 阅读全文

posted @ 2023-10-18 16:20 业余砖家阅读(73) 评论(0) 推荐(0) 编辑

2023年10月17日

Hbase-预分区

摘要： Hbase 预分区 HBase表在刚刚被创建时，只有1个分区（region），当一个region过大（达到hbase.hregion.max.filesize属性中定义的阈值，默认10GB）时，表将会进行split，分裂为2个分区。表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的阅读全文

posted @ 2023-10-17 18:37 业余砖家阅读(24) 评论(0) 推荐(0) 编辑

HBase-hbase shell操作

摘要： hbase shell操作一、DDL操作 1．开启hbase shell hbase shell 2．查看hbase状态 Status 3．查看hbase版本 Version 4．创建命名空间 create_namespace '命名空间名' 5．显示所有命名空间 list_namespace 6 阅读全文

posted @ 2023-10-17 18:36 业余砖家阅读(24) 评论(0) 推荐(0) 编辑

HBase-表的压缩

摘要：一、如何选择压缩算法以及Data_Block_Encoding?（1）如果Key很长，或者有很多Column，那么推荐使用FAST_DIFF。（2）如果数据是冷数据，不经常被访问，那么使用GZIP压缩格式。因为虽然它比Snappy/LZO需要占用更多而CPU，但是它的压缩比率更高，更节省磁盘。（3）阅读全文

posted @ 2023-10-17 16:12 业余砖家阅读(197) 评论(0) 推荐(0) 编辑

HBase-统计表总行数的三种方式

摘要：由于Hbase是列式数据库，没有提供类似SQL的数据查询语句，可以通过以下三种方式获取表的总行数。 1. 使用Hbase自带的Count命令 hbase提供了count命令可以在hbase交互界面使用，获取总行数。 hbase> count 'test' hbase> count 'test', I 阅读全文

posted @ 2023-10-17 15:39 业余砖家阅读(442) 评论(0) 推荐(0) 编辑

HBase-宽表和高表的对比

摘要：一、宽表和高表定义 HBase 中的表可以设计为高表（tall-narrow table）和宽表（flat-wide table）： (1) 宽表是指很多列较少行，即列多行少的表，一行中的数据量较大，行数少； (2) 高表是指很多行较少列，即行多列少，一行中的数据量较少，行数大。二、宽表和高表阅读全文

posted @ 2023-10-17 15:05 业余砖家阅读(157) 评论(0) 推荐(0) 编辑

Linux-使用cat查看文件后出现乱码，整个终端显示包括shell提示符都是乱码

摘要：问题描述：在bash下用cat显示二进制文件后会出现乱码，整个终端显示包括shell提示符都是乱码，这个跟语言环境无关。解决办法：恢复的话，大致有以下几种方法：方法一：盲打输入echo -e '\xf'并回车。与这个命令相对的是echo -e '\xe'，在正常状态下输入此命令会把终端搞出乱码来阅读全文

posted @ 2023-10-17 14:48 业余砖家阅读(751) 评论(0) 推荐(0) 编辑

Linux-CentOS7登录页面出现Hint: caps lock on，输入大小写字母反了（大小写反转问题）

摘要：问题描述：虚拟机CentOS7，输入大小写字母反了，开启capslock的时候变成小写字母了，关闭则变成大写了。。。解决办法：只需要执行：setleds +caps 或 setleds -caps 即可。如图：阅读全文

posted @ 2023-10-17 14:28 业余砖家阅读(659) 评论(0) 推荐(0) 编辑

没有比人更高的山，没有比脚更长的路。

公告