240
a56爆大奖在线娱乐爱毛绒绒~~~~~~~
摘要: 爬虫 - Selenium简介 Selenium是一个用于网站应用程序自动化的工具。它可以直接运行在浏览器中,就像真正的用户在操作一样。它支持的浏览器包括IE、Mozilla Firefox、Safari、Google Chrome和Opera等,同时支持多种编程语言,如.Net、Java、Python和Ruby等。 安装 安装S 阅读全文
posted @ 2023-08-07 16:03 水开白 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 爬虫各种问题总结方案 ### selenium报错 - selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable 可能是代码中没有全屏,元素没有加载全 ``` baiduweb = webdr 阅读全文
posted @ 2023-07-17 16:18 水开白 阅读(11) 评论(0) 推荐(0) 编辑
摘要: Scrapy框架爬取实例 Scrapy框架爬取豆瓣图书及其详情实例 douban.py import scrapy import time from bs4 import BeautifulSoup from scrapy import Request from Scripts.ScrapyProject.items imp 阅读全文
posted @ 2023-07-11 17:05 水开白 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 爬虫 - Scrapy框架安装使用2 Scrapy 框架其他方法功能集合笔记 使用Scrapy框架自带Item Pipeline下载文件和图片 使用ImagesPipeline 下载图片 1、 要下载Pillow 否则无法下载 2、item需要定义两个默认的,不能改!否则无法下载! image_urls = scrapy.Field() 阅读全文
posted @ 2023-07-01 17:02 水开白 阅读(7) 评论(0) 推荐(0) 编辑
摘要: pymysql,pymongo链接实例 pymysql conn = pymysql.connect( host= dbhost, #数据库地址 port= 3306, #数据库端口号 user= 'testpymysql', #数据库账号 password='afk!cTRnDnVq*bvZ' #数据库密码 ) cursor = con 阅读全文
posted @ 2023-06-05 17:16 水开白 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 数据库 - MongoDB基础语法2 MongoDB 自带 JavaScript shell,允许使用命令行与 MongoDB 实例进行交互。shell 在很多场景中非常有用,包括执行管理功能、检查正在运行的实例或仅仅是探索 MongoDB。 本笔记根据《MongoDB权威指南(第3版)》整合而成 shell辅助函数对应的JavaScr 阅读全文
posted @ 2023-05-14 18:10 水开白 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 数据库 - MongoDB基础知识1 MongoDB 是功能强大、灵活且易于扩展的通用型数据库。它融合了二级索引、范围查询、排序、聚合以及地理空间索引等诸多特性。本章介绍 MongoDB 的主要设计决策。 MongoDB 功能强大且易于上手,本笔记介绍 MongoDB 的一些基本概念 本笔记根据《MongoDB权威指南(第3版)》整合而 阅读全文
posted @ 2023-05-13 15:04 水开白 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 数据库 - MongoDB安装 MongoDB是a56爆大奖在线娱乐基于分布式文件存储的数据库,旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是介于关系数据库和非关系数据库之间的产品,是非关系数据库中功能最丰富、最像关系数据库的数据库。 MongoDB支持的数据结构非常松散,类似于JSON的BSON格式,因此可以存储比较复杂的 阅读全文
posted @ 2023-04-30 18:28 水开白 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 文档数据存储 ### CSV数据的写入和读取 > 常用的数据存储介质有文件、关系式数据库和非关系式数据库。a56爆大奖在线娱乐文档存储适用于具有时效性的数据,如股市行情、商品信息和排行榜信息等,这类数据具有动态变化性质,非特殊要求下,建议存放文件。python自带标准CSV模块库,不用自行安装。 ##### 写入 - 数据读取, 阅读全文
posted @ 2023-04-24 16:39 水开白 阅读(50) 评论(0) 推荐(0) 编辑
摘要: CSV数据导出实例 写 with open(csvname,'w',newline='') as f: field = ['站点名称','数据库','站点状态','数据库地址'] writer = csv.DictWriter(f,fieldnames=field) writer.writeheader() data 阅读全文
posted @ 2023-04-24 10:52 水开白 阅读(27) 评论(0) 推荐(0) 编辑