钢铁侠的知识库

2024年1月21日

xshell配置隧道转移规则

摘要：

一文带你快速理解xshell隧道转发功能，以及使用场景。阅读全文

posted @ 2024-01-21 15:13 钢铁侠的知识库阅读(258) 评论(1) 推荐(0) 编辑

2023年2月3日

pycharm设置python头文件模版

摘要：

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。使用pycharm创建python文件时候，有时候需要自动生成想要的文件头，如何生成呢？只需要以下几步：在file->settings中搜索temp，找到file and code templates->pyt 阅读全文

posted @ 2023-02-03 18:11 钢铁侠的知识库阅读(253) 评论(0) 推荐(0) 编辑

2023年1月29日

linux 高效压缩工具之xz的压缩解压使用

摘要：

Linux中，xz拥有压缩效率高的特性，一个对日志或a56爆大奖在线娱乐高压缩率的工具，xz无疑是最佳的选择。阅读全文

posted @ 2023-01-29 19:27 钢铁侠的知识库阅读(1209) 评论(0) 推荐(0) 编辑

2022年9月9日

python 基于aiohttp的异步爬虫实战

摘要：

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。之前a56爆大奖在线娱乐们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。像这种占用磁盘/内存IO、网络IO的任阅读全文

posted @ 2022-09-09 11:43 钢铁侠的知识库阅读(875) 评论(0) 推荐(1) 编辑

2022年8月22日

python爬虫之BeautifulSoup4使用

摘要：

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。上一章a56爆大奖在线娱乐们讲解针对结构化的html、xml数据，使用Xpath实现网页内容爬取。本章a56爆大奖在线娱乐们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理阅读全文

posted @ 2022-08-22 17:53 钢铁侠的知识库阅读(761) 评论(0) 推荐(0) 编辑

2022年8月15日

Python爬虫之xpath语法及案例使用

摘要：

Python爬虫之xpath语法及案例使用钢铁侠的知识库 2022.08.15 a56爆大奖在线娱乐们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要a56爆大奖在线娱乐对数据解析的方法，也就是本章要介绍的Xpath表达式。 Xpath是什么 XPath，全称 XML Path La 阅读全文

posted @ 2022-08-15 22:09 钢铁侠的知识库阅读(1370) 评论(0) 推荐(0) 编辑

2022年7月19日

fiddler5+雷电模拟器4.0对app抓包设置

摘要：

Fiddler5+雷电模拟器4对app抓包设置，弃用原来的老旧雷电3版本，保姆级教程小学生看了都说好。阅读全文

posted @ 2022-07-19 02:11 钢铁侠的知识库阅读(1602) 评论(0) 推荐(0) 编辑

2021年12月29日

Python调用Prometheus监控数据并计算

摘要：

工作中需要通过CPU、内存生成资源利用率报表，可以通过Prometheus的API写一个Python脚本。API获取数据，然后再进行数据排序、过滤、运算、聚合，最后写入Mysql数据库。阅读全文

posted @ 2021-12-29 18:06 钢铁侠的知识库阅读(3136) 评论(0) 推荐(0) 编辑

2021年11月5日

IDM使用教程：利用IDM下载百度网盘文件

摘要：

IDM是什么其实a56爆大奖在线娱乐使用IDM下载器只是为了方便网页版百度网盘直接下载大于40M文件而已，大家知道文件过大必须打开客户端才能下载，这点对于a56爆大奖在线娱乐的破电脑感觉很烦躁，每�a56爆大奖在线娱乐却朴拼蚩缓蠖�a56爆大奖在线娱乐的超级VIP下载一个百兆不到的小文件，a56爆大奖在线娱乐网上找了个工具可以直接使用插件下载，省去大材小用的启动客户端。阅读全文

posted @ 2021-11-05 17:44 钢铁侠的知识库阅读(21414) 评论(2) 推荐(1) 编辑

2021年8月24日

AWS(amazon ec2)服务器流量查询

摘要：

aws ec2流量监控亚马逊云服务新用户绑定信用卡免费使用一年，相信很多人白嫖过，选用micro最低配置+流量免费15G，包含上下行。这种配置用来测试玩玩还行，生产使用的话容易超标。很多人想知道流量使用情况但不知道哪里设置，AWS是没有直接查看方式的，需要做一些简单设置，下面开始详细介绍。如何配阅读全文

posted @ 2021-08-24 14:53 钢铁侠的知识库阅读(1591) 评论(0) 推荐(0) 编辑

2021年8月20日

filebeat+ELK配置及常用操作

摘要：

背景介绍最近工作涉及几台新服务器的日志需要接入ELK系统，配置思路如下：使用Filebeat收集本地日志数据，Filebeat监视日志目录或特定的日志文件，再发送到消息队列到kafka，然后logstash去获取消费，利用filter功能过滤分析，最终存储到elasticsearch中。 fil 阅读全文

posted @ 2021-08-20 17:59 钢铁侠的知识库阅读(552) 评论(0) 推荐(0) 编辑

2021年8月16日

免费个人图床搭建gitee+PicGo

摘要：

a56爆大奖在线娱乐们写博客的时候经常会需要配图，特别是markdown写的时候只能通过网络链接来展示图片。首先来说存储仓库。测试过几款存储图片的仓库，最终选择方案3： 1、阿里OSS需要付费，空间和流量双向收费，对于流量大的用户会有一点小压力。 2、GitHub有免费空间，但访问速度太慢，甚至无法访问，一切看运气阅读全文

posted @ 2021-08-16 14:14 钢铁侠的知识库阅读(885) 评论(4) 推荐(2) 编辑

2021年8月7日

python打包exe之pyinstaller用法

摘要： pyinstaller可以将python写好的脚本打包成exe文件，方便windows用户在没有python环境下运行。这个程序完全跨平台，包括Windows、Linux、Mac OS X等多个操作系统下运行。因为a56爆大奖在线娱乐用的是win7，以下直接使用windows打包讲解，不同平台上使用 PyInstal 阅读全文

posted @ 2021-08-07 19:55 钢铁侠的知识库阅读(382) 评论(0) 推荐(0) 编辑

2021年8月6日

centos ansible常用命令

摘要： ansible在日常运维中经常使用，特别是批量执行多台服务器的时候，有效减小重复的操作成本，以下从安装到使用仅讲解工作中常用的几种方式，模块很多功能很强大，但不做全面讨论。 ansible安装在centos服务器中安装ansible很简单，只需两条命令： yum install epel-rele 阅读全文

posted @ 2021-08-06 10:32 钢铁侠的知识库阅读(82) 评论(0) 推荐(0) 编辑

2021年7月22日

python_字典列表嵌套的排序问题

摘要：上一篇a56爆大奖在线娱乐们聊到python 字典和列表嵌套用法，这次a56爆大奖在线娱乐们聊聊字典和列表嵌套中的排序问题，这个在python基础中不会提到，但实际经常运用，面试中也喜欢问，a56爆大奖在线娱乐们娓娓道来。在说组合排序之前，先来看看排序有哪些函数。排序函数使用排序有两个可用方法，分别是sort()和sorted()。 sort() 阅读全文

posted @ 2021-07-22 18:07 钢铁侠的知识库阅读(1005) 评论(0) 推荐(0) 编辑

2021年6月28日

python 字典和列表嵌套用法

摘要： python中字典和列表的使用，在数据处理中应该是最常用的，这两个熟练后基本可以应付大部分场景了。不过网上的基础教程只告诉你列表、字典是什么，如何使用，很少做组合说明。刚好工作中采集prometheus监控接口并做数据处理的时候，用了很多组合场景，列出几个做一些分享。列表(List) 序列是Py 阅读全文

posted @ 2021-06-28 18:42 钢铁侠的知识库阅读(17547) 评论(0) 推荐(1) 编辑

2021年2月8日

python try异常处理

摘要：什么是异常 python异常捕获，在刚开始学的时候，经常会遇到两种报错信息：语法错误和执行的异常。语法错误在执行的时候就会报错，同时控制端会告诉你错误所在的行；但即便python程序语法是正确的，在运行它的时候，也有可能发生错误。比如请求的接口返回空，没有做判断直接拿这个变量进行下一步逻辑处理，阅读全文

posted @ 2021-02-08 18:27 钢铁侠的知识库阅读(626) 评论(0) 推荐(0) 编辑

2020年11月27日

Python_生成器和迭代器的区别

摘要：迭代器和生成器的区别是什么？这个问题面试的时候经常作为灵魂拷问。今天一起从概念到代码梳理一遍，作为总结和记录。区别是：生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大数据量处理，将会非常有用。基础概念迭代：当创建的对象可以被一个接一个读取里面的值，叫迭代阅读全文

posted @ 2020-11-27 11:55 钢铁侠的知识库阅读(2859) 评论(0) 推荐(1) 编辑

2020年10月24日

阿里云ECS磁盘扩容不生效处理办法

摘要：原因阿里云ECS云盘扩容后，在Linux服务器上没有生效实际需要几条命令扩容才能正式生效。处理方法先看扩容前磁盘空间，/dev/vda1可以看到只有40G。 # df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs d 阅读全文

posted @ 2020-10-24 13:47 钢铁侠的知识库阅读(2174) 评论(0) 推荐(0) 编辑

2020年9月30日

mysql 空值（null）和空字符（''）的区别

摘要：日常开发中，一般都会涉及到数据库增删改查，那么不可避免会遇到Mysql中的NULL和空字符。空字符（''）和空值（null）表面上看都是空，其实存在一些差异：定义：空值(NULL)的长度是NULL，不确定占用了多少存储空间，但是占用存储空间的空字符串('')的长度是0，是不占用空间的通俗的阅读全文

posted @ 2020-09-30 01:43 钢铁侠的知识库阅读(5478) 评论(0) 推荐(0) 编辑

2020年9月28日

centos 安装python3导致yum报错

摘要： centos yum报错 File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: 报错：报错一： File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: 报错二： File "/ 阅读全文

posted @ 2020-09-28 23:16 钢铁侠的知识库阅读(440) 评论(0) 推荐(1) 编辑

2020年9月27日

第03章-博弈，也是有价格的

摘要：第03章-博弈，也是有价格的博弈论不是权谋学，不能教大家怎样损人利己。而是在假定人性自私的前提下，思考如何制约与引导人们的行为。 011：囚徒困境：当个人利益与集体利益发生冲突时，足够理性的人会优先追求个人利益。在一个群体中，个人做出理性选择却往往导致集体的非理性。背叛，也是有价格的，而聪明人阅读全文

posted @ 2020-09-27 01:25 钢铁侠的知识库阅读(176) 评论(0) 推荐(0) 编辑

2020年9月26日

centos 端口测试之nc使用

摘要：服务器端口测试是否正常，运维一般使用telnet来检查，但它有局限性，服务器的端口必须存在服务运行。这时使用nc可以在服务端模拟开启一个端口，再通过nc测试此端口，好用！ nc是netcat工具的简称，一个网络工具，可以用来端口扫描、文件传输等功能。 centos上面安装也很简单： yum ins 阅读全文

posted @ 2020-09-26 01:05 钢铁侠的知识库阅读(3364) 评论(0) 推荐(0) 编辑

2020年9月24日

ip子网掩码计算及子网划分

摘要：为什么要懂子网掩码计算，及子网划分属于网络基础知识。一般在几个地方会用到：公司避免产生网络风暴而划分子网，帮助路由器判断对应主机是否在同一个网段中服务器相互隔离而划分子网，一般机房管理人员规划；安全组IP限制，如阿里云、防火墙出入规则；软考、面试也常考... 概念理解子网掩码的分类缺省阅读全文

posted @ 2020-09-24 00:57 钢铁侠的知识库阅读(3055) 评论(0) 推荐(0) 编辑

2020年9月21日

第02章-价格，是你想定就定的吗？

摘要：第02章-价格，是你想定就定的吗？ 006：供需定理：供需关系决定价格。经济学告诉a56爆大奖在线娱乐们，产品有价，不是因为制造产品有成本，而是因为市场对产品有需求。产品能卖出什么价，是由市场上供给对于需求的相对稀缺性来决定的。供不应求，价格上涨，供过于求，价格下跌。在商业中给定价进行正确的归因，a56爆大奖在线娱乐们可以学会阅读全文

posted @ 2020-09-21 23:53 钢铁侠的知识库阅读(130) 评论(0) 推荐(0) 编辑

2020年9月20日

centos7 yum安装redis及常用命令

摘要： redis是什么 Redis是a56爆大奖在线娱乐基于内存的数据结构存储，可持久化的日志型、Key-Value数据库。使用关系型数据库的站点达到一定并发量的时候，往往在磁盘IO上会有瓶颈，这时候配合redis就有一定的优势，因为它具有以下几个特性：基于内存运行，高并发读写；支持分布式，理论上可以无限扩展；丰富阅读全文

posted @ 2020-09-20 18:28 钢铁侠的知识库阅读(394) 评论(0) 推荐(0) 编辑

2020年9月19日

elasticsearch 索引清理脚本及常用命令

摘要： elastic索引日志清理不及时，很容易产生磁盘紧张，官网给出curl -k -XDELETE可以清理不需要的索引日志。清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 阅读全文

posted @ 2020-09-19 00:10 钢铁侠的知识库阅读(400) 评论(0) 推荐(0) 编辑

2020年9月14日

git 快速入门及常见用法

摘要：身为技术人员，都知道Git是干嘛的。从服务端角度它是代码仓库，可以多人协作、版本控制、高效处理大型或小型项目所有内容；从客户端讲，它能够方便管理本地分支、且与服务端代码的同步，从拉取、合并、提交等等管理分支都靠它！ Git轻量、易于学习，如果不用搭建和维护代码仓库的话（运维职责），只要掌握几个git 阅读全文

posted @ 2020-09-14 12:18 钢铁侠的知识库阅读(771) 评论(0) 推荐(3) 编辑

2020年9月13日

第01章-成本，你真的算对过吗？

摘要：第01章-成本，你真的算对过吗？ 001：机会成本：帮你做出更理性的选择。为了得到某一样东西，通常不得不放弃另外一些东西。在经济学里，这些不得不放弃的东西，就是a56爆大奖在线娱乐们当前选择所付出的机会成本。有人这样描述机会成本：鱼与熊掌不可兼得。那么放弃掉的鱼，就是你选择熊掌的代价。 002：比较优势：分相对阅读全文

posted @ 2020-09-13 01:54 钢铁侠的知识库阅读(175) 评论(0) 推荐(0) 编辑

2020年9月12日

windows mysql安装及常用命令

摘要：安装windows版本mysql只是为本地代码调试，不建议用于生产。觉得步骤麻烦也可以直接下载集成环境（如xampp），一键安装即可用。之前本地测试都用一键安装，今天换个方法玩玩，安装步骤如下： mysql安装直接下载归档压缩包即可，解压到你的目录，可不用下载.msi格式的：下载地址：https 阅读全文

posted @ 2020-09-12 01:45 钢铁侠的知识库阅读(346) 评论(0) 推荐(0) 编辑

公告