基于python 爬虫的数据库设计开题报告_基于博容舆情分析的Python爬虫系统的设计与应用开题报告...

1．目的及意义(含国内外的研究现状分析)

互联网是一个非常庞大的非结构化的数据库，如何将数据有效地检索并组织呈现出来有着巨大的应用前景。搜索引擎有着为人们检索信息的功能，但是，这些通用性搜索引擎一般存在着一定的局限性。不同的领域、不同背景的用户往往有着不同的检索目的和需求，通用搜索引擎所返回的结果包含着大量用户不需要的信息，为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

Python本身被设计为可扩充的。并非所有的特性和功能都集成到语言核心。Python提供了丰富的API和工具，以便程序员能够轻松地使用C语言、C 、Cython来编写扩充模块。Python编译器本身也可以被集成到其它需要脚本语言的程序内。因此，很多人还把Python作为一种“胶水语言”(glue language)使用。使用Python将其他语言编写的程序进行集成和封装。

实现一个基于Python的网络爬虫，抓取某个网络公共事件相关的博文及评论，将抓取到的信息分类保存进数据库中。能给博客和评论打上标签 (重点关注，无关数据，已反馈等等)加备注，还能对博客排重，一个博客只显示一条数据，不会重复显。可以分析出博客及评论的相关信息及规律。

2．研究(设计)的基本内容、目标、拟采用的技术方案及措施

一、基本内容

1. 了解教师与学生对系统的基本需求；

2. 对实现的系统进行可行性评估与风险评估；

2. 对系统所要用到的数据进行整理并建模；

3. 整理系统的数据流与业务流，完善数据模型

4. 针对要实现的系统，设计合适的Python框架；

二、技术方案

通过Python来实现这样一个爬虫功能，实现一个基于Python的网络爬虫，抓取某个网络公共事件相关的