用开发者工具从下载文件的 response 中找文档内容，很快就找到了

分析请求地址及参数

然后回到文档源代码页面，发现这个请求地址已经包含在里面了，只需要把它提取出来即可

表格和word 文档还是不一样的，表格还要考虑文本的横向距离，区分不同的列

然而并没有什么好办法确定文本到底在哪一列，是能确定个大概顺序

import requests import re import pandas as pd import matplotlib.pyplot as plt %matplotlib inline url = 'https://wenku.baidu.com/view/3f2024bc852458fb760b56e3.html?fr=search' html = requests.get(url).text js = re.findall(r'"pageLoadUrl.*?(https.*?0.json.*?)\\', html) hjs = [item.replace('\\\\/', '/') for item in js] for i in hjs: try: new_html = requests.get(i).text txtlist=re.findall('"c":"(.*?)".*?"x":(.*?),"y":(.*?),',new_html) c, x, y = list(zip(*txtlist)) x, y = [float(i) for i in x],[int(float(i)) for i in y] # -----画图看看分布------------- fig, ax = plt.subplots(1,1,figsize=(4,6)) plt.plot(x,y,'.') ax.invert_yaxis() plt.show() # ------------------ df = pd.DataFrame({'c':c, 'x':x, 'y':y}) df.sort_values(by=['y','x'], inplace=True) row=0 result = '' for _, item in df.iterrows(): if row == item[2]: result += ',' else: row = item[2] result += '\n' result+=item['c'].encode('utf-8').decode('unicode_escape','ignore') print(result) except Exception as e: print(e)

看看第一页，这是根据 x,y 坐标返回的散点图 我发现 Di03PrgCode3 这个文本输出的时候另起了一行？？？原来是因为它的 y 坐标比同一行的文本稍大了一点

KUKA ROBOT,输入输出信号 机种,AIMI-->>上料机器人电箱信号,客户,锻造 信号,CLEAN,AIMI,Robot KUKA符号,CLEANING符号,注释 输入,输出,输出,输入 IN1,Q60.0,DI001,Di01PrgCode1,程序号设定输入,1 IN2,Q60.1,DI002,Di02PrgCode2,程序号设定输入,2 IN3,Q60.2,DI003,程序号设定输入,3 Di03PrgCode3 IN4,Q60.3,DI004,Di04PrgCode4,程序号设定输入,4 IN5,Q60.4,DI005,Di05PrgCode5,程序号设定输入,5 IN6,Q60.5,DI006,Di06PrgCode6,程序号设定输入,6 IN7,Q60.6,DI007,Di07PrgCode7,程序号设定输入,7

把 y 坐标输出来看，： 现在能想到的解决思路就是利用聚类算法，把近似出于同一行但是y坐标稍有不同的文本划分到同一类中！

使用 DBSCAN 完美解决！！！

为什么用DBSCAN呢？因为不用设置聚类数目，只需要设定类内相邻样本的最大间距，和我的场景完美符合！！

import requests import re import pandas as pd import matplotlib.pyplot as plt import numpy as np from sklearn.cluster import DBSCAN %matplotlib inline url = 'https://wenku.baidu.com/view/3f2024bc852458fb760b56e3.html?fr=search' html = requests.get(url).text js = re.findall(r'"pageLoadUrl.*?(https.*?0.json.*?)\\', html) hjs = [item.replace('\\\\/', '/') for item in js] for i in hjs: try: new_html = requests.get(i).text txtlist=re.findall('"c":"(.*?)".*?"x":(.*?),"y":(.*?),',new_html) c, x, y = list(zip(*txtlist)) x, y = [float(i) for i in x],[int(float(i)) for i in y] # -----画图看看分布------------- fig, ax = plt.subplots(1,1,figsize=(4,6)) plt.plot(x,y,'.') ax.invert_yaxis() plt.show() # ------DBSCAN对y坐标聚类---------- data = np.ones((len(y),2)) data[:,1] = y max_error = 2 db = DBSCAN(eps=max_error, min_samples=1).fit(data) labels = db.labels_ # ------根据类别确定行号 original_seq = [i for i in range(len(y))] pairs = np.array(sorted(list(zip(y,original_seq,labels)))) # （列， 原始顺序，类别） row = [0 for _ in range(len(y))] for i in range(1,len(pairs)): if pairs[i,2] == pairs[i-1,2]: row[i] = row[i-1] else: row[i] = row[i-1]+1 pairs[:,2] = row # # （列， 原始顺序，行号） pairs = pairs[np.argsort(pairs[:,1])] # 按原始顺序复原 df = pd.DataFrame({'c':c, 'x':x, 'r':pairs[:,2]}) df.sort_values(by=['r','x'], inplace=True) row=-1 result = '' for _, item in df.iterrows(): if row==item[2]: result += ',' else: row=item[2] result += '\n' result+=item['c'].encode('utf-8').decode('unicode_escape','ignore') print(result) break except Exception as e: print(e.trace) KUKA ROBOT,输入输出信号 机种,AIMI-->>上料机器人电箱信号,客户,锻造 信号,CLEAN,AIMI,Robot,KUKA符号,CLEANING符号,注释 输入,输出,输出,输入 IN1,Q60.0,DI001,Di01PrgCode1,程序号设定输入,1 IN2,Q60.1,DI002,Di02PrgCode2,程序号设定输入,2 IN3,Q60.2,DI003,Di03PrgCode3,程序号设定输入,3 IN4,Q60.3,DI004,Di04PrgCode4,程序号设定输入,4 IN5,Q60.4,DI005,Di05PrgCode5,程序号设定输入,5 IN6,Q60.5,DI006,Di06PrgCode6,程序号设定输入,6 IN7,Q60.6,DI007,Di07PrgCode7,程序号设定输入,7 IN8,Q60.7,DI008,Di08PrgCode8,程序号设定输入,8 ...