爬取数据-urllib库

一. 怎样扒网页呢？

其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来

from urllib.request import urlopen response = urlopen("http://www.baidu.com") print(response.read().decode())

二. 常见到的方法

1. requset.urlopen(url,data,timeout)

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

2. response.read()

read()方法就是读取文件里的全部内容，返回bytes类型

3. response.getcode()

返回 HTTP的响应码，成功返回200，4服务器页面出错，5服务器问题

4. response.geturl()

返回 返回实际数据的实际URL，防止重定向问题

5. response.info()

返回 服务器响应的HTTP报头

三. Request对象

1. 其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写

from urllib.request import urlopen from urllib.request import Request request = Request("http://www.baidu.com") response = urlopen(requst) print(response.read().decode())

运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答，这样显得逻辑上清晰明确

2. 还可以加入头,假装自己是浏览器访问网页

1） 使用一个头

from urllib.request import urlopen from urllib.request import Request url = "http://www.baidu.com" headers={ "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36' } request =Request(url,headers=headers) response = urlopen(request) info = response.read() print(info.decode())

2）使用多个头并随机使用

from urllib.request import urlopen from urllib.request import Request from random import choice url = "http://www.baidu.com" user_agents = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0", "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25" ] headers={ "User-Agent":choice(user_agents) } request =Request(url,headers=headers) response = urlopen(request) info = response.read() print(info.decode())

3）下载fake_useragent包，使用包的功能

from urllib.request import Request,urlopen from urllib.parse import urlencode from fake_useragent import UserAgent url = "https://www.baidu.com/" headers={ "User-Agent":UserAgent().random } request = Request(url,headers=headers) response = urlopen(request) print(response.read().decode())

四. Get 请求

大部分被传输到浏览器的html，images，js，css, … 都是通过GET方法发出请求的。它是获取数据的主要方法

例如：www.baidu.com 搜索

Get请求的参数都是在Url中体现的,如果有中文，需要转码，这时我们可使用

urllib.parse.urlencode() from urllib.request import Request,urlopen from urllib.parse import quote #print(quote("学习")) url = "https://www.baidu.com/s?wd={}".format(quote("学习")) headers={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36" } request = Request(url,headers=headers) response = urlopen(request) print(response.read().decode()) urllib.parse. quote() from urllib.request import Request,urlopen from urllib.parse import urlencode from fake_useragent import UserAgent args={ "wd":"学习", "ie":"utf-8" } #print(urlencode(args)) #有出现wd=....,并且多项参数可以自动出现&符号进行合并，比quote方便 url = "https://www.baidu.com/s?{}".format(urlencode(args)) #print(url) headers={ "User-Agent":UserAgent().random } request = Request(url,headers=headers) response = urlopen(request) print(response.read().decode())

五. Post 请求

我们说了Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对

发送请求/响应header头的含义：

六. 响应的编码

响应状态码

响应状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。 常见状态码：

七. Ajax的请求获取数据

有些网页内容使用AJAX加载，而AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了

八. 请求 SSL证书验证

现在随处可见 https 开头的网站，urllib可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/

如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信任。（据说 12306 网站证书是自己做的，没有通过CA认证）

# 忽略SSL安全认证 context = ssl._create_unverified_context() # 添加到context参数里 response = urllib.request.urlopen(request, context = context)