模拟登陆： -爬取基于某些用户的用户信息。 需求：对人人网进行模拟登录。 -点击登录按钮后会发起一个post请求 -post请求中会携带登录之前的相关登录数据（用户名，密码，验证码…） -验证码：每次请求都会变化 #编码流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储
''' #编码流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储 ''' import requests from lxml import etree import json import numpy as np import time import yanzheng_1 as YZ #封装识别验证码图片的函数 def getCodetext(imgPath,codeType): pd_id = "125806" #用户中心页可以查询到pd信息 pd_key = "kzojlpQERHpH4S7aFpP0llCJaqSOqgCq" app_id = "325806" #开发者分成用的账号，在开发者中心可以查询到 app_key = "XT5hk2ONzXlbp8/msasuDhof7IxaMZ4h" #识别类型， #具体类型可以查看官方网站的价格页选择具体的类型，不清楚类型的，可以咨询客服 pred_type = codeType api = YZ.FateadmApi(app_id, app_key, pd_id, pd_key) # 查询余额 balance = api.QueryBalcExtend() # 直接返余额 # api.QueryBalc() # 通过文件形式识别： file_name = imgPath # 多网站类型时，需要增加src_url参数，具体请参考api文档: http://docs.fateadm.com/web/#/1?page_id=6 # result = api.PredictFromFileExtend(pred_type,file_name) # 直接返回识别结果 rsp = api.PredictFromFile(pred_type, file_name) # 返回详细识别结果 ''' # 如果不是通过文件识别，则调用Predict接口： # result = api.PredictExtend(pred_type,data) # 直接返回识别结果 rsp = api.Predict(pred_type,data) # 返回详细的识别结果 ''' just_flag = False if just_flag : if rsp.ret_code == 0: #识别的结果如果与预期不符，可以调用这个接口将预期不符的订单退款 # 退款仅在正常识别出结果后，无法通过网站验证的情况，请勿非法或者滥用，否则可能进行封号处理 api.Justice( rsp.request_id) #card_id = "123" #card_key = "123" #充值 #api.Charge(card_id, card_key) #LOG("print in testfunc") return rsp.pred_rsp.value if __name__ == '__main__': #1.对验证码图片进行捕获和识别 url = 'http://www.renren.com/SysHome.do' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0' } page_text = requests.get(url=url,headers=headers).text tree = etree.HTML(page_text) code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] code_img_data = requests.get(url=code_img_src,headers=headers).content with open ('F:/python_test/requests_test/python3/code.jpg','wb') as fp: fp.write(code_img_data) #2.使用斐斐打码平台提供的示例代码对图片进行识别 code_text = getCodetext('F:/python_test/requests_test/python3/code.jpg','30600')#http://www.fateadm.com/online_identify.html?usr=125806&ukey=kzojlpQERHpH4S7aFpP0llCJaqSOqgCq print('识别结果为：',code_text) #3.post请求的发送，用来模拟登录 login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2020841713498' data = { "email":"17345717747", "icode":code_text, "origURL":"http://www.renren.com/home", "domain":"renren.com", "key_id":"1", "captcha_type":"web_login", "password":"1e6a6182f90ab16ebebc86df70e8c7c66cbe4e9d6ba0b7d0217b48f685a75ba8", "rkey":"f3b3f581ea74a37be4af0ce1d0a62e2b", "f":"http%3A%2F%2Fwww.renren.com%2F975048900%2Fnewsfeed%2Fphoto" } response = requests.post(url=login_url,headers=headers,data=data) print(response.status_code) print(response.json) ''' login_page_text = response.text fp = open('F:/python_test/requests_test/renren.json','w',encoding='utf-8') '''需求：爬取当前用户的相关的用户信息（个人主页中显示的用户信息）
http/https协议特性：无状态。 直接对用户页面发起get请求，没有请求到页面数据的原因： 发起的第二次基于个人主页页面请求的时候，服务器并不知道该请求是基于登录状态下的请求 cookie：用来让服务器端记录客户端的相关状态 -手动处理：通过抓包工具获取cookie值，将改制封装到headers中。(不建议) -自动处理： -cookie值的来源是哪里？ -模拟登录post请求后，由服务器端创建。 session会话对象： -作用： 1.可以进行请求的发送。 2.如果请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中 -创建session对象：session = requests.Session（） -使用session队形进行模拟登录post请求的发送（cookie就会被存储在session中） -session对象度个人主页对应的get请求进行发送（携带了cookie）
''' #编码流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储 ''' import requests from lxml import etree import json import numpy as np import time import yanzheng_1 as YZ #封装识别验证码图片的函数 def getCodetext(imgPath,codeType): pd_id = "125806" #用户中心页可以查询到pd信息 pd_key = "kzojlpQERHpH4S7aFpP0llCJaqSOqgCq" app_id = "325806" #开发者分成用的账号，在开发者中心可以查询到 app_key = "XT5hk2ONzXlbp8/msasuDhof7IxaMZ4h" #识别类型， #具体类型可以查看官方网站的价格页选择具体的类型，不清楚类型的，可以咨询客服 pred_type = codeType api = YZ.FateadmApi(app_id, app_key, pd_id, pd_key) # 查询余额 balance = api.QueryBalcExtend() # 直接返余额 # api.QueryBalc() # 通过文件形式识别： file_name = imgPath # 多网站类型时，需要增加src_url参数，具体请参考api文档: http://docs.fateadm.com/web/#/1?page_id=6 # result = api.PredictFromFileExtend(pred_type,file_name) # 直接返回识别结果 rsp = api.PredictFromFile(pred_type, file_name) # 返回详细识别结果 ''' # 如果不是通过文件识别，则调用Predict接口： # result = api.PredictExtend(pred_type,data) # 直接返回识别结果 rsp = api.Predict(pred_type,data) # 返回详细的识别结果 ''' just_flag = False if just_flag : if rsp.ret_code == 0: #识别的结果如果与预期不符，可以调用这个接口将预期不符的订单退款 # 退款仅在正常识别出结果后，无法通过网站验证的情况，请勿非法或者滥用，否则可能进行封号处理 api.Justice( rsp.request_id) #card_id = "123" #card_key = "123" #充值 #api.Charge(card_id, card_key) #LOG("print in testfunc") return rsp.pred_rsp.value if __name__ == '__main__': #创建一个session对象 session = requests.session() #1.对验证码图片进行捕获和识别 url = 'http://www.renren.com/SysHome.do' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0' } page_text = requests.get(url=url,headers=headers).text tree = etree.HTML(page_text) code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] code_img_data = requests.get(url=code_img_src,headers=headers).content with open ('F:/python_test/requests_test/python3/code.jpg','wb') as fp: fp.write(code_img_data) #2.使用斐斐打码平台提供的示例代码对图片进行识别 code_text = getCodetext('F:/python_test/requests_test/python3/code.jpg','30600')#http://www.fateadm.com/online_identify.html?usr=125806&ukey=kzojlpQERHpH4S7aFpP0llCJaqSOqgCq print('识别结果为：',code_text) #3.post请求的发送，用来模拟登录 login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2020841713498' data = { "email":"17345717747", "icode":code_text, "origURL":"http://www.renren.com/home", "domain":"renren.com", "key_id":"1", "captcha_type":"web_login", "password":"1e6a6182f90ab16ebebc86df70e8c7c66cbe4e9d6ba0b7d0217b48f685a75ba8", "rkey":"f3b3f581ea74a37be4af0ce1d0a62e2b", "f":"http%3A%2F%2Fwww.renren.com%2F975048900%2Fnewsfeed%2Fphoto" } #使用session进行post请求的发送 response = session.post(url=login_url,headers=headers,data=data) print(response.status_code) ''' login_page_text = response.text fp = open('F:/python_test/requests_test/renren.json','w',encoding='utf-8') ''' #爬取当前主页对应的页面数据 detail_url = 'http://www.renren.com/975048900/profile' ''' #手动cookie处理 headers = { 'cookie' = 'xxxx' } ''' #使用携带cookie的session进行get请求的发送 detail_page_text = session.get(url=detail_url,headers=headers).text with open('F:/python_test/requests_test/liber.html','w',encoding='utf-8') as fp: fp.write(detail_page_text)代理：破解封IP这种反爬机制。 什么是代理： -代理服务器。 代理的作用： -突破自身IP访问的限制。 -可以隐藏自身真实IP 代理相关的网站： -快代理 -西祠代理 -www.goubanjia.com 代理IP的类型： -http：应用到http协议对应的url中 -https：应用到https协议对应的url中 代理IP的匿名度： -透明：服务器知道带刺请求使用了代理，也知道请求对应的真实IP -匿名：知道使用了代理，不知道真实IP -高匿名：不知道使用了代理，不知道真实IP
#需求 import requests url = 'https://www.baidu.com/s?wd=ip' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0' } #,proxies={"https":'27.189.162.153'} IP = '27.189.162.153' proxies = { "https":'https://'+IP, "http":'https://'+IP } page_text = requests.get(url=url,headers=headers,proxies=proxies).text with open('F:/python_test/requests_test/ip.html','w',encoding='utf-8')as fp: fp.write(page_text) #反爬机制：封IP #反反爬策略：使用代理进行请求发送