爬虫(一)：爬虫简介

1. 爬虫简介

1.1 爬虫是什么？

什么是爬虫，以下是百度百科上的解析：

很多人都将互联网比喻成一张非常大的网，将世界连接起来。如果说互联网是一张网，那么爬虫就像在网上爬的小虫子，通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取该网页的内容，找到该网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，就这样一直循环下去，直到将该网站的所有网页全部抓取为止。 

1.2 爬虫原理

发起请求：
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等

接收响应：
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等

解析网页：
解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以b的方式写入文件

存储资源：
数据库