自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 【学习记录】Python数据处理之matplotlib

plot(x, # xy, # ycolor='r', # 线条颜色inestyle='--', # 线条风格linewidth='5', # 线条粗细alpha=0.5 # 透明度,范围0-1)Matplotlib 教程

2020-09-21 17:36:19 381

原创 【学习记录】Scrapy爬取豆瓣数据储存到MySQL库中(数据遗漏问题待解决)

Windows 10 系统,Python 3.7爬取豆瓣读书top250所有的书名,作者,评分,简介,将数据保存至MySQL库中。网址链接:https://book.douban.com/top250待解决问题:数据爬取有缺失,只爬取到了187组数据目录一、创建数据库及数据表1、创建数据库:2、在数据库下创建数据库:二、创建scrapy项目1、定义item2、爬虫spider3、pipelines 数据存储4、settings设置5、运行结果一、创建数据库及数据表1、创建数据库:creat

2020-08-31 22:28:44 521

原创 【学习记录】SQL常用语句(随时补充)& Python3连接MySQL库

Windows 10 系统,Python 3.7首先需要启动MySQL库:以管理员身份运行cmd,键入net start MySQL80Python连接MySQL库代码如下:import pymysql# 调用pymysql模块my_host = 'localhost' # 数据库主机地址user = 'root' # 数据库用户名passwd = 'xxxxxxx' # 你的数据库密码# 用try捕获异常try:

2020-08-15 20:49:52 1733 6

原创 【学习记录】Scrapy框架爬取豆瓣图书短评数据,并存储成Excel,TXT(增加xpath处理方法)。

运用scrapy的知识,爬取豆瓣图书TOP250前2页的书籍(50本)的短评数据(包括书名、评论ID、短评内容),并存储成Excel。网址链接:https://book.douban.com/top250(爬虫精进14)Windows 10 系统,Python 3.7分析网页代码多往后翻几页发现规律已经有了:"https://book.douban.com/top250?start=" + “0” , “25” , "50……"用 for…in range() 循环可以得到全部网址,我们只

2020-07-31 16:09:06 1619

原创 【学习记录】实操:使用多协程和队列,爬取食物的热量信息

使用多协程和队列,爬取薄荷网前3种和最后一种食物类别的前3页的数据(食物名称、食物热量、食物详情链接),并用将数据存储在excel。(爬虫精进12)Windows 10 系统,Python 3.7from gevent import monkeymonkey.patch_all()import requests,gevent,openpyxlfrom gevent.queue import Queuefrom bs4 import BeautifulSoupheaders = {'User

2020-07-25 19:45:45 346

原创 【学习记录】使用多协程和队列,爬取时光网电视剧TOP100的数据

使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。时光网TOP100链接:http://www.mtime.com/top/tv/top100/(爬虫精进11)Windows 10 系统,Python 3.7from gevent import monkey #从gevent库里导入monkey模块。monkey.patch_all() #monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。imp

2020-07-22 20:20:53 1146

原创 【学习记录】自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。

Windows 10 系统,Python 3.7import requestsimport smtplib #连接服务器需要用到smtplib库,smtplib是python的一个内置库,所以不需要用pip安装import scheduleimport time#引入schedule和time,用于实现定时功能from bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import H

2020-07-11 15:06:34 2321

原创 【学习记录】用schedule模块定时

Python库中,用schedule模块部署定时任务代码如下:import scheduleimport time#引入schedule和timedef job(): print("I'm working...")#定义一个叫job的函数,函数的功能是打印'I'm working...'schedule.every(10).minutes.do(job) #部署每10分钟执行一次job()函数的任务schedule.every().hour.do(job)

2020-07-09 14:00:37 241

原创 【学习记录】Python运行报错:server_hostname cannot be an empty string or start with a leading dot.

Windows 10 系统,Python 3.71. 问题:server_hostname cannot be an empty string or start with a leading dot.2. 原因:python 3.7 修改了 ssl.py ,导致了smtplib.SMTP_SSL 的问题3. 已解决4. 解决方法:原来的代码:import smtplib mailhost = 'smtp.qq.com'smtplib.SMTP_SSL().connect(mailhost,4

2020-07-08 14:45:07 3346

原创 【学习记录】PyCharm搭建selenium环境,Python运行报错:ModuleNotFoundError: No module named ‘selenium‘

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

2020-07-03 17:55:00 874

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除