爬虫，又称网页蜘蛛或网络机器人. 爬虫是模拟人操作客户端（浏览器，APP）向服务器发起网络请求 抓取数据的自动化程序或脚本 模拟: 不让服务器发现我们是爬虫 客户端: 浏览器和APP, 其是用户与服务器之间进行数据交互的通道, 或者说是桥梁 自动化: 针对于大数据量的 自动化，数量较小时可以人工获取数据，但往往公司中爬取的量都在百万级，所以要程序自动化获取数据
通用爬虫: 通用爬虫，为搜索引擎提供检索服务。 聚焦爬虫: 聚焦爬虫是针对待定领域，抓取特定数据的爬虫程序 聚焦爬虫又分为增量式爬虫和深度爬虫
1.url, 发请求, 获取响应 2.数据解析 3.数据持久化
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
OSI七层模型: 应用层, 表示层, 会话层, 传输层, 网络层, 数据链路层, 物理层 TCP/IP五层模型: 应用层, 传输层, 网络层, 数据链路层, 物理层 应用层: https http ftp sftp ssh 传输层: tcp udp 网络层: ip 数据链路层: ARP 物理层: 以太网协议
通过IP获取目标计算机的mac地址的协议
交换机不能识别IP地址
tcp:tcp是面向连接的, 可靠的, 基于字节流的传输层通信协议 有序性: 给数据包编号 可靠性: 超时重发, 并有确认的机制 可控性: 滑动窗口协议与拥塞控制算法 正确性: checksum函数, 在接收与发送端都会计算校验和 udp: udp是用户数据报协议, 面向事务的(面向无连接的), 传输不可靠的传输层通信协议 1.传输不可靠, 可能有数据丢失 2.与udp相比, 报文小, 传输速度快 3.适用于吞吐量大, 并且能够承受一定数据损失的传输
1、http协议：是超文本传输协议，信息是明文传输。如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息。 2、https协议：是具有安全性的ssl加密传输协议，为浏览器和服务器之间的通信加密，确保数据传输的安全。 3，端口号不同，http是80，https是443 4，http协议：免费申请。https协议：需要到ca申请证书，一般免费证书很少，需要交费
