大西瓜不甜的博客

要让对方掌握项目架构，一个清晰的介绍架构和顺序可以事半功倍。项目背景在介绍项目架构之前，首先要介绍一下项目本身的意义和目的，便于对方了解项目背景解决了什么问题，满足了什么需求等? 目标用户是谁?（可以用类似讲故事的方式介绍对目标用户的带来的价值） 目前用户的使用情况如何（访问量，满意度，各个功能使用情况等数据）功能点项目针对用户需求或问题，开发了哪些功能在介绍功能...

1.搭建框架 我们计划使用Maven来管理项目，并使用Spring Boot（SSM）作为我们项目的主体框架。Spring Boot是目前最流行的开源框架，在https://start.spring.io/上你可以轻松的挑选自己需要的模块。本项目中使用了Freemaker、Web、MyBatis、Aspect四个模块，填写好GroupId和ArtifactId（ArtifactId使用BookM...

SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。简而言之，SSH是一种网络协议，可以用于计算机之间的加密登录，省去重复输入密码的步骤。更多官方解释可以点此查看 那么在牛客的git项目中也可以使用该 SSH Key帮助你...

5个线程 爬取2万条 数据 需要40分钟10个线程 爬取时间为20分钟数据可视化：可以通过java中的绘制图表 进行排序展示，也可以对控件进行操作等来实现 ，可以通过sql 语句进行查询、排序、展示 等操作项目的源代码已上传的博客资源中截图展示如下： （比如我要查看周榜排第三位的博主评论数最多的一篇博客）按照阅读量排序后的结果为：...

使用多线程处理爬虫作业加快速度线程池package work.spider.start;import java.io.IOException;import java.util.ArrayList;import java.util.LinkedList;import java.util.List;import java.util.concurrent.ExecutorSer...

1.页面动态加载问题2.爬取数据缓慢问题3.标题中有影响sql语句问题4.标签xpath路径浏览器提供不精确问题

解析具体模块列表页并优化解析实现类类如csdn主页的边栏 5g 模块给page.类添加url列表 属性//存储模块url(包含列表页url和详情页url) private List<String> urlList= new ArrayList<String>();连接数据库模块 并提供对数据库的各种操作接口package work.sp...

使用Hbase存储爬虫数据hbase表设计方案： RowKey （source+blog/paper id） 列簇 allnumber daynumber commentNuber publishtim...

实现数据存储流程搭好存储数据的框架定义接口类 IStoreService .javapackage work.spider.service;import work.spider.entity.Page;/* * * 数据存储接口 * @auther lwr * created by 2020-03-15 * */public interface IStore...

实现功能：优化解析代码xpath路径常常需要改变时可以通过两种方法减少工作：一是通过使用配置文件，将xpath路径都保存在配置文件中二是将路径保存在数据库中使用将很多重复的代码写成不同的方法放到工具包中减少代码的重复性。CSDNProcessService.javapackage work.spider.service.impl;import java....

----

更新中***

代码实现一爬虫目标：优酷爬取字段：总播放量、每日播放增量、评论数、收藏数、赞、踩实现功能：下载解析界面采用技术：HttpClient、 HtmlCleaner、 Xpath 、正则表达式...

1.需求分析数据很重要，所以让他爬...2.难点分析1.网站采取反爬策略2.网站模板定期变动（标签变化）3.网站URL抓取失败4.网站频繁抓取IP被封3解决方案1.反爬策略通过浏览器的方式访问2.定期变动不同的配置文件配置不同的网站规则； 数据库存储不同的规则模板；3.url抓取失败HTTP client 处理方式 尝试三次 ； s...