python爬虫————lxml库和Xpath语法、API

lxml库和Xpath语法

XPath简介

什么是XPath？

XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。

选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看 到的表达式非常相似。最常用的路径表达式：

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

XPath的运算符

lxml库

lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器,可以利用之前学习的
XPath语法,快速定位特定元素以及节点信息。

lxml python 官方文档:http://lxml.de/index.html

解析 HTML 代码

lxml 可以自动修正 html 代码,不仅补全了 li 标签,还添加了 body,html 标签。

文件读取

利用 etree.parse() 方法来读取文件

使用API

API概述

现在API是越来越多，一些“成熟”的网站都会为自己构造API为使用者或开发者提供使用，例如可以

通过百度地图API进行查询路线，定位坐标等。通过一些音乐API查询歌手信息、歌词下载等。通过翻
译API进行实时翻译多国语言。甚至可以花一点费用去APIStorehttp://apistore.baidu.com/上购买API服务，
如图所示。

API使用方法

API用一套非常标准的规则生成数据，而且生成的数据也是按照非常标准的方式组织的。

因为规则很标准，所以一些简单、基本的规则很容易学，可以快速地掌握API的用法。但并
非所有的API使用都很简单，有些API的规则却是很多且复杂，建议在使用前认真观看该API
的帮助文档。

API验证

有些简单的API不需要验证操作，但现在大部分的API是需要用户提交验证的。
提交验证主要是为了计算API调用的费用，这种常见于付费的API，例如某天气查
询API，图灵的聊天机器人等， 需购买获得apikey作为验证才能调用API

解析JSON数据

Python中有解析JSON数据的标准库，可以通过下面代码来使用它：
import json
不同于其他Python的解析库，JSON解析库并不是把JSON数据解析为JSON对象或者JSON节点，
而是把JSON数据转换为字典，JSON数组转换成列表，JSON字符串转换为Python字符串。这样，
便可以轻松的对JSON数据进行操作了。