xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
表达式描述示例结果nodename选取此节点的所有子节点bookstore选取bookstore下所有的子节点/如果是在最前面，代表从根节点选取。否则选择某节点下的某个节点/bookstore选取根元素下所有的bookstore节点//从全局节点中选择节点，随便在哪个位置//book从全局节点中找到所有的book节点，获取整个页面中的元素@选取某个节点的属性//book[@price]选择所有拥有price属性的book节点.当前节点./a选取当前节点下的a标签/和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用得比较多。当然也要视情况而定。
contains：有时候某个属性中包含了多个值，那么可以使用contains函数。示例代码如下：
//div[contains(@class,'job_detail')]谓词中的下标是从1开始的，不是从0开始的。
xpath函数返回的始终是一个列表，提取元素的时候需要加下标
html.xpath("//tr[position()>1]") #获取所有tr标签，不包含第一个
html.xpath("//tr[@class=‘kangbazi’]/td/text()")[0] #获取td标签的所有文本内容
html.xpath(".//td//a/@href") #属性前面必须加@
谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。 在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
路径表达式描述/bookstore/book[1]选取bookstore下的第一个子元素/bookstore/book[last()]选取bookstore下的倒数第二个book元素。bookstore/book[position（）< 3]选取bookstore下前面两个子元素。//book[@price]选取拥有price属性的book元素//book[@price=10]选取所有属性price等于10的book元素*表示通配符。
通配符描述示例结果*匹配任意节点/bookstore/*选取bookstore下的所有子元素。@*匹配节点中的任何属性//book[@*]选取所有带有属性的book元素。通过在路径表达式中使用“|”运算符，可以选取若干个路径。 示例如下：
//bookstore/book | //book/title # 选取所有book元素以及book元素下所有的title元素[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pKleMggS-1599195119208)(qqTu%20Pian%2020171124194846.png)]
lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。
lxml python 官方文档：http://lxml.de/index.html
需要安装C语言库，可使用 pip 安装：pip install lxml
我们可以利用他来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，他会自动的进行补全。示例代码如下：
# 使用 lxml 的 etree 库 from lxml import etree text = ''' <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签 </ul> </div> ''' #利用etree.HTML，将字符串解析为HTML文档 html = etree.HTML(text) # 按字符串序列化HTML文档 result = etree.tostring(html) print(result)输入结果如下：
<html><body> <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </body></html>可以看到。lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签。
除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：
<!-- hello.html --> <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div>然后利用etree.parse()方法来读取文件。示例代码如下：
from lxml import etree # 读取外部文件 hello.html html = etree.parse('hello.html') result = etree.tostring(html, pretty_print=True) print(result)输入结果和之前是相同的。
获取所有li标签：
from lxml import etree html = etree.parse('hello.html') print type(html) # 显示etree.parse() 返回类型 result = html.xpath('//li') print(result) # 打印<li>标签的元素集合获取所有li元素下的所有class属性的值：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/@class') print(result)获取li标签下href为www.baidu.com的a标签：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a[@href="www.baidu.com"]') print(result)获取li标签下所有span标签：
from lxml import etree html = etree.parse('hello.html') #result = html.xpath('//li/span') #注意这么写是不对的： #因为 / 是用来获取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用双斜杠 result = html.xpath('//li//span') print(result)获取li标签下的a标签里的所有class：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a//@class') print(result)获取最后一个li的a的href属性对应的值：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()]/a/@href') # 谓语 [last()] 可以找到最后一个元素 print(result)获取倒数第二个li元素的内容：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a') # text 方法可以获取元素内容 print(result[0].text)获取倒数第二个li元素的内容的第二种方式：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a/text()') print(result)万水千山总是情，点个关注行不行。 你的一个小小举动，将是我分享更多干货的动力。
