Python学习，053论一只爬虫的自我修养

爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。

python 自带的电池：

URL的一般格式为（带方括号[]的为可选项)：

protocol:// hostnamet[:port] / path / [;parameters][?query]#fragment

URL由三部分组成：

--- 第一部分是协议：http, https, ftp, file, ed2kSo

--- 第二部分是存放资源的服务器的域名系统或IP地址（有时候要包含端口号，各种传输协议都有默认的端口号，如http的默认端口为80）

--- 第三部分是资源的具体地址,如目录或文件名等。

1. Urllib

Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块

>>> import urllib.request >>> respons = urllib.request.urlopen ("http://www.dishc.com") >>> html = respons.read() >>> print (html)

输出：

上图是一个二进制编码之后的操作，我们要对其进行解码操作：