bs4 进行数据解析

bs4

bs4 进行数据解析

数据解析原理：

• 1.标签定位
• 2.提取标签、标签属性中存储的数据值

bs4数据解析的原理：

• 1.实例化一个BeautifulSoup对象，并且将页面源码加载到该对象中
• 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

环境安装

• pip install bs4
• pip install lxml

如何实例化BeautifulSoup对象：

• 1.导包python from bs4 import BeautifulSoup
• 2.对象的实例化
  • 1.将本地的html文档中的数据加载到该对象中

    fp=open('./test.html','r',encoding='utf-8')
    soup=BeautifulSoup(fp,'lxml')
    

   - 2.将互联网上获取的页面源码加载到该对象中
```python
     #通常用这个
     page_text = response.text
     soup=BeatifulSoup(page_text,'lxml')

提供的用于数据解析的方法和属性：

• 1.soup.tagName：返回的是文档中第一次出现的tagName对应的标签
• 2.soup.find():
  • find(‘tagName’)等同于soup.div
  • 属性定位：
    -soup.find(‘div’,class_/id/attr=‘song’)
• 3.soup.find_all(‘tagName’):返回符合要求的所有标签（列表）

select：

• 1.select(‘某种选择器(id/class/标签…选择器)’)，返回一个列表。
• 2.层级选择器：
  • soup.select(".tang > ul >li > a"): >表示的是一个层级
  • soup.select(’.tang > ul a’)：空格表示的是多个层级
• 如何获取标签之间的文本数据：
  • soup.a.text/string/get_text()
  • text/get_text():可以获取某一个标签中所有的文本内容
  • string：只可以获取该标签下面直系的文本内容
• 如何获取标签中属性值：
  • soup.a[‘href’]

实战案例：

• 需求：爬取三国演义小说所有的章节标题和章节内容

import requests
from bs4 import BeautifulSoup

if __name__ == "__main__":
    # 对首页的页面数据进行爬取
    url = "https://www.shicimingju.com/book/sanguoyanyi.html"
    heraders = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0"}

    page_text = requests.get(url=url, headers=heraders).text

    # 在首页中解析出章节的标题和详情页的url
    # bs4
    # 1.实例化BeautifulSoup对象需要将页面源码数据加载到对象中
    soup = BeautifulSoup(page_text, 'lxml')
    # 解析章节标题和详情页的url
    li_list = soup.select('.book-mulu > ul > li')
    fp=open('./sanguo.txt','w',encoding='utf-8')
    for li in li_list:
        title = li.a.string
        detail_url = 'https://www.shicimingju.com' + li.a['href']
        # 对详情页发起请求，解析出章节内容
        detail_page_text = requests.get(url=detail_url, headers=heraders).text
        # 解析出详情页中相关的章节内容
        detail_soup = BeautifulSoup(detail_page_text, 'lxml')
        div_tag=detail_soup.find('div',class_='chapter_content')
        #解析到了章节内容
        content=div_tag.text
        fp.write(title+':'+content+'\n')
        print(title,'爬取成功！！！')