浏览器类 爬虫生成器 01号 部分研究（注意不是直接写爬虫，而是以算法生成爬虫，部分研究）

# 免责声明 1. 本项目源代码，仅仅用于学习研究，切勿用于商业用途。 2. 一切直接或间接使用本项目源码的违法违规行为，与本项目作者无关。 # crawler_generator_01(浏览器类 爬虫生成器 01号) ## 已完成内容: 1. 以叶子节点 "碰撞" 两相似 却 不同的网页dom, 使"相同"叶子消失, 差异叶子存留. > 比如 拿 第一页 和 第二页 "碰撞" 2. 寻找能 容纳 最多 存留叶子 的最深的 非叶子节点 > 该非叶子节点 又称为 最大分节点. ## 待完成内容: - 已完成内容 的 第2条 有部分代码执行缓慢, 需要优化 - 分数增加依据:子节点的文本意义 ## 效果测试 ```bash #python main.py https://www.lovelywholesale.com/category.html?id=159&tname=WOMEN ??? #结果不对, 结果是 /html/head, 原因尚未排查 python main.py https://www.justfashionnow.com/collections/women-s-clothing https://www.justfashionnow.com/collections/fashion-affordable-shoes-for-women-and-men #不适用于此种情况 # 这两个页面的树在结构上没有对应, 深浅不一致(这两个页面不是同一个servLet代码生成, 而是不同的前端人员左的的不同的静态页面代码, 只是看起来比较像而已), 无最大分节点 #python main.py https://mall.jd.com/index-1000004259.html https://mall.jd.com/index-1000004065.html #结果正确, 运行很久(候选parent太多),最大分节点正确: '/html/body/div[2]/div[8]/div/div/div[2]/div[2]/div[2]/div[1]' python main.py http://www.liangzhishanyang.com/col.jsp?id=119 http://www.liangzhishanyang.com/col.jsp?id=118 #结果正确, 但是如果选用产品列表大的, 则运行很久. 最大分节点正确: /html/body/div[7]/div[1] # https://wsy.com/market.htm?kid=1&cid=30: 这里面产品列表太多, 目前程序还没优化 运行很慢 python main.py "https://wsy.com/market.htm?kid=11&cid=30" "https://wsy.com/market.htm?kid=3&cid=30" #结果正确, /html/body/div[2]/div/div[1]/div/div[1] python main.py https://www.cn55.cn/tc/ https://www.cn55.cn/tyyp/ #结果正确, /html/body/div[5]/div[3]/div[1]/div[2]/ul python main.py http://www.man.ef360.com/international/ http://www.man.ef360.com/mendian/ #结果正确, /html/body/div[8]/div[1]/form/div[4]/ul python main.py https://www.tywh1688.com/sell/list/980/ https://www.tywh1688.com/sell/list/975/ ``` ## CHANGES > 分数:= 节点K的深度*min(节点K的任意深孩子数,产品节点总数)