- 博客(10)
- 收藏
- 关注
原创 【学习记录】Python数据处理之matplotlib
plot(x, # xy, # ycolor='r', # 线条颜色inestyle='--', # 线条风格linewidth='5', # 线条粗细alpha=0.5 # 透明度,范围0-1)Matplotlib 教程
2020-09-21 17:36:19
381
原创 【学习记录】Scrapy爬取豆瓣数据储存到MySQL库中(数据遗漏问题待解决)
Windows 10 系统,Python 3.7爬取豆瓣读书top250所有的书名,作者,评分,简介,将数据保存至MySQL库中。网址链接:https://book.douban.com/top250待解决问题:数据爬取有缺失,只爬取到了187组数据目录一、创建数据库及数据表1、创建数据库:2、在数据库下创建数据库:二、创建scrapy项目1、定义item2、爬虫spider3、pipelines 数据存储4、settings设置5、运行结果一、创建数据库及数据表1、创建数据库:creat
2020-08-31 22:28:44
521
原创 【学习记录】SQL常用语句(随时补充)& Python3连接MySQL库
Windows 10 系统,Python 3.7首先需要启动MySQL库:以管理员身份运行cmd,键入net start MySQL80Python连接MySQL库代码如下:import pymysql# 调用pymysql模块my_host = 'localhost' # 数据库主机地址user = 'root' # 数据库用户名passwd = 'xxxxxxx' # 你的数据库密码# 用try捕获异常try:
2020-08-15 20:49:52
1733
6
原创 【学习记录】Scrapy框架爬取豆瓣图书短评数据,并存储成Excel,TXT(增加xpath处理方法)。
运用scrapy的知识,爬取豆瓣图书TOP250前2页的书籍(50本)的短评数据(包括书名、评论ID、短评内容),并存储成Excel。网址链接:https://book.douban.com/top250(爬虫精进14)Windows 10 系统,Python 3.7分析网页代码多往后翻几页发现规律已经有了:"https://book.douban.com/top250?start=" + “0” , “25” , "50……"用 for…in range() 循环可以得到全部网址,我们只
2020-07-31 16:09:06
1619
原创 【学习记录】实操:使用多协程和队列,爬取食物的热量信息
使用多协程和队列,爬取薄荷网前3种和最后一种食物类别的前3页的数据(食物名称、食物热量、食物详情链接),并用将数据存储在excel。(爬虫精进12)Windows 10 系统,Python 3.7from gevent import monkeymonkey.patch_all()import requests,gevent,openpyxlfrom gevent.queue import Queuefrom bs4 import BeautifulSoupheaders = {'User
2020-07-25 19:45:45
346
原创 【学习记录】使用多协程和队列,爬取时光网电视剧TOP100的数据
使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。时光网TOP100链接:http://www.mtime.com/top/tv/top100/(爬虫精进11)Windows 10 系统,Python 3.7from gevent import monkey #从gevent库里导入monkey模块。monkey.patch_all() #monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。imp
2020-07-22 20:20:53
1146
原创 【学习记录】自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。
Windows 10 系统,Python 3.7import requestsimport smtplib #连接服务器需要用到smtplib库,smtplib是python的一个内置库,所以不需要用pip安装import scheduleimport time#引入schedule和time,用于实现定时功能from bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import H
2020-07-11 15:06:34
2321
原创 【学习记录】用schedule模块定时
Python库中,用schedule模块部署定时任务代码如下:import scheduleimport time#引入schedule和timedef job(): print("I'm working...")#定义一个叫job的函数,函数的功能是打印'I'm working...'schedule.every(10).minutes.do(job) #部署每10分钟执行一次job()函数的任务schedule.every().hour.do(job)
2020-07-09 14:00:37
241
原创 【学习记录】Python运行报错:server_hostname cannot be an empty string or start with a leading dot.
Windows 10 系统,Python 3.71. 问题:server_hostname cannot be an empty string or start with a leading dot.2. 原因:python 3.7 修改了 ssl.py ,导致了smtplib.SMTP_SSL 的问题3. 已解决4. 解决方法:原来的代码:import smtplib mailhost = 'smtp.qq.com'smtplib.SMTP_SSL().connect(mailhost,4
2020-07-08 14:45:07
3346
原创 【学习记录】PyCharm搭建selenium环境,Python运行报错:ModuleNotFoundError: No module named ‘selenium‘
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-07-03 17:55:00
874
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人