hziwei

2020年5月15日

摘要：一、上传项目，用gunicorn启动项目 1.生成requirements.txt文件，执行如下命令 pip freeze > requirements.txt 2.上传flask项目 3.安装项目依赖,首先创建虚拟环境 vituralenv flaskEnv # 创建虚拟环境 cd flaskEn 阅读全文

posted @ 2020-05-15 11:20 hziwei 阅读(336) 评论(0) 推荐(1) 编辑

liunx安装python3.6.8

摘要：一、下载安装python3.6.8 1.下载python3.6.8的tar包 wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz 2.解压到指定的目录 tar xf Python-3.6.8.tar.xz -C /opt/ 阅读全文

posted @ 2020-05-15 09:48 hziwei 阅读(400) 评论(0) 推荐(0) 编辑

2020年5月6日

Grafana设置mysql为数据源

摘要：一、下载安装 Grafana版本：6.7.3 官网下载地址：https://grafana.com/grafana/download 可以下载到本地上传到服务器上，也可以使用wget下载启动然后在浏览器上输入 http://192.168.130.164:3000 输入用户名和密码:默认是用户阅读全文

posted @ 2020-05-06 11:32 hziwei 阅读(879) 评论(0) 推荐(0) 编辑

2020年4月29日

使用pyhdfs连接HDFS进行操作

摘要：一、pyhdfs.HdfsClient 参数： hosts（list 或str）– NameNode HTTP host：port字符串的列表，可以list是逗号分隔的字符串。如果未指定，则端口默认为50070。请注意，在Hadoop 3中，默认的NameNode HTTP端口已更改为9870。旧版阅读全文

posted @ 2020-04-29 15:00 hziwei 阅读(3631) 评论(1) 推荐(0) 编辑

七、Hadoop搭建Hbase

摘要：一、安装Hbase 安装Hbase需要安装Zookeeper 1.1 下载解压Hbase 1.2 配置环境变量二、配置Hbase 2.1 修改hbase env.sh 进入到hbase配置环境中 cd conf/ 2.2 修改regionservers（目录在conf下） 2.3 修改hbase 阅读全文

posted @ 2020-04-29 11:20 hziwei 阅读(277) 评论(0) 推荐(0) 编辑

六、Zookeeper运行环境

摘要：一、安装zookeeper 1.1 下载解压zookeeper 1.2配置zoo.cfg,进入到conf目录下 1.3 在另外两台上做同样的配置 1.4 Zookeeper 的data/myid配置，使用如下命令，server.1中的数字1为服务器的ID，需要与myid文件中的id一致，下一步将配置阅读全文

posted @ 2020-04-29 11:19 hziwei 阅读(240) 评论(0) 推荐(0) 编辑

五、Hadoop搭建Hive

摘要：一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，a56爆大奖在线娱乐们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去阅读全文

posted @ 2020-04-29 10:12 hziwei 阅读(212) 评论(0) 推荐(0) 编辑

2020年4月28日

四、Hadoop搭建Spark

摘要：一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co 阅读全文

posted @ 2020-04-28 19:54 hziwei 阅读(394) 评论(0) 推荐(0) 编辑

liunx crontab执行定时任务

摘要： 1、使用crontab编辑一个定时任务每分钟执行一次，把“hello world!”写入到/root/test.txt 命令：crontab -e 或者 vim /etc/crontab # 也可以直接修改 /etc/crontab */1 * * * * echo “hello world!” 阅读全文

posted @ 2020-04-28 16:07 hziwei 阅读(164) 评论(0) 推荐(0) 编辑

三、Hadoop分布式搭建

摘要：一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux 阅读全文

posted @ 2020-04-28 11:51 hziwei 阅读(287) 评论(0) 推荐(0) 编辑

公告