菜鸟成长记----做一个简易的搜索引擎

最新推荐文章于 2025-07-04 11:01:45 发布

原创

最新推荐文章于 2025-07-04 11:01:45 发布 · 1.3w 阅读

6 ·

CC 4.0 BY-SA版权

本文记录了菜鸟的成长历程，通过倒排索引原理，设计并实现了一个简单的搜索引擎。首先，使用正则表达式从网页源码中提取网址，再利用之前的小爬虫对这些网址进行持续爬取。虽然错过了尝试beautifulsoup的机会，但深入理解并应用正则表达式，实现了有效的网址提取功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一次小白已经得到了一个任劳任怨的网络小爬虫，要是不搞一波小事情似乎对不太起这个小爬虫，于是乎小白又鼓捣鼓捣参考各方大神的资料以倒排索引为基础原理设计了一个简答的搜索引擎。

之前的爬虫只是得到了网页的源码而没有做任何处理，乃是一个一次性的小爬虫，所以小白用正则表达式对网页内容进行匹配得到其中的网址，之后小爬虫就可以利用这个自生自灭至死方休的帮我们爬取网页拉，这里不得不提一下beautifulsoup和正则表达式了，据说beautifulsoup模块是一个网页爬取提取的利器，只可惜小宝在做完之后才听得大名万分遗憾没能试用一番，但是正则表达时小白可是切身的研究了一丢丢，熟练了（强行熟练）也是非常的好用，比如提取网页源码的网址：

    link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')", html)

    这一句就提出个七七八八来，当然这么粗糙鱼目混珠的情况也是少不了的，但是还是非常好用的，虽然看起来很复杂但是只要掌握了(?<)、(?=)、.、+、?这几种符号的用法小白觉得就可以解决大部分问题了，哦这里还有提一句，正则表达式似乎不支持嵌套的情形，大概形如“找到所有前面三个字符满足条件A的字符a,条件A是这三个字符前面的内容满足条件B”巴拉巴拉，好吧感觉说的好乱让我们暂且跳过这个话题。提取处理的匹配如果用findall是存储在列表中的，这样我们就可以在一个网页列表中一直加入新找到的链接一直重复爬取，小白这里自认为能力有限，所以就从提取中的网页链接爬取了100个网页做一个轻装版。这里提个醒，由于之前html链接提取的很粗糙，所以可能把各种形如网页链接的css文件路径、图片路径什么乱七八糟的给爬下来，不过我们这里就统一当作网页链接在一个tr