Pyppeteer设置headless=True的一系列问题

一、设置userDataDir参数问题

1、设置userDataDir的值为相对路径

如果将userDataDir参数的值设置为相对路径，比如：userDataDir="./myUserDataDir"，在我的pyppeteer（0.0.25）版本中，程序将会卡在await browser.newPage()这里，这个问题的解决办法就是将路径设置为绝对路径，有两种方案，一种是直接写明绝对路径，比如windows下为：F:\\python\\crawler\\temp，另一种方案为使用Path模块的resolve函数，获取绝对路径，代码如下：

from pathlib import Path p = Path("./myUserDataDir") # 参数为你的用户数据文件夹的相对路径 browser = await launch( headless=True, userDataDir=p.resolve(), )

2、设置userDataDir后，打开页面得到page后，调用page.goto()无反应

复现这个问题的代码如下,当我们将headerless设置为True、userDataDir设置为绝对路径后出现的新问题是调用page.goto()函数无响应了，最后会抛出一个timeout异常。经过测试，发现所有的page调用函数均是这个情况，比如page.screenshot()、page.title()等等。在查看pyppeteer在github上的issue后发现这种是因cpu负载过高，内存泄漏而程序挂起。

p = Path("./myUserDataDir") browser = await launch( headless=True, userDataDir=p.resolve(), ) resp = await page.goto('https://www.weibo.com')

这是属于pyppeteer的bug，解决方法就是修改源码，直接在pyppeteer的源码launcher.py文件中搜索options['stderr'] = subprocess.STDOUT，并将其修改为options['stderr'] = subprocess.DEVNULL。然后保存源码后即可解决这个问题。

3、设置userDataDie后无效

这个问题的解决办法就是使用pyppeteer帮你下载的chromium浏览器，不要单独设置executablePath参数，然后新建一个文件夹用于存放userDataDir，设置路径的时候记得使用绝对路径。不过这样做的后果就是无法使用我们日常使用的Chrome浏览器的数据了，将其复制过来也不行，因为Chrome和Chromium不兼容。在Chrome浏览器下设置userDataDir的方法可以见这篇文章。