分布式爬虫
- 1. 分布式爬虫 云峰 www.weibo.com@fengyuncrawl 2011.12.10
- 2. 提纲 • 全网爬虫和垂直爬虫 • 分布式框架 • 海量数据存储 • SSD作缓存和虚拟内存 • Q&A 2
- 3. 通用爬虫 初始url（种子） 下载页面 解析 将抽取的内容保存 缺点： 1. 噪音多 2.信息密度低，无联系 3.结构简单化
- 4. 深度爬虫 增加 1.link分析，网页权重计算 2.URL权重队列 四个困难： 1.高效算法去重（bloom filter） 2.表单验证（校验码）（OCR） 3,正文抽取（vips，dom特征计算和缓存） 4.Ajax如何解析(webkit)
- 5. 深度爬虫架构
- 7. 疑问 1.系统越来越庞大，分散节点越来越多 2.不同模块，不同输入和输出，配置文件杂乱无章 3.重复工作很多
- 10. 疑问 海量数据如何存储？
- 11. 海量数据存储 1.memcached+redis+mysql,分级存储 2.Hadoop分布式存储 3.mongodb集群 4.fastdb，voltdb实时内存分布式数据库+海量存储
- 12. 分级存储 1.根据时间维度划分数据表（冷热） 2.存储同时也是缓存（一级，二级...） 举例： memcached+redis+mysql 缺点：一致性不能保证，只能实现最终一 致性
- 13. Hadoop分布式存储（大文件） 1.适合大文件分块存储，每块64块， 冗余存储 2.分块持久化2种方法： 每个分块单独存储一个文件，用文 件名做索引键号。 将属于同一大文件的分块存储为 一个文件，利用调度，将文件分散存 储在分布式节点。
- 20. 疑问 mysql storage engine（myisam，innodb）关系型数据库 保证数据一致性 能否将mysql改成并行分布式挑战Hadoop？
- 22. SSD vs 磁盘（读取） 磁盘为West Digital WD5000AAKS,所用SSD 为ADATA 32G。测试闪存在不同块大小下的 顺序读取速度和随机读取速度,随着块大小的增 加无论固态硬盘还是磁盘读取速度都显著提高。 固态硬盘的顺序读取速度高于磁盘。随机存取 性能固态硬盘优势比较明显,要高于磁盘一至二 个数量级 这是由于磁盘采用机械设备寻址缓慢。在相同 块大小情况下固态硬盘顺序与随机读取速度相 差不多,这是SSD的一大特点。
- 26. SSD+Innodb（磁盘） 1.应用一，顺序I/O放传统磁盘，随机I/O放SSD， 随机I/O文件包括(*.ibd)文件，ibdata文件，顺序 I/O包括redo log ，binary， slow query logs， error logs。 2.应用二，SSD作为InnoDB的二级缓存,配置参数 innodb_secondary_buffer_pool。当缓存页移出 InnoDB的缓冲池时，InnoDB会将其移动到SSD 上
- 29. Q&A 语音360（最新版本）日均下载量5000,20w用户 http://static.apk.hiapk.com/html/2011/12/364790.html http://www.lamper.cn/ 本人联系微博:http://weibo.com/fengyuncrawl
- 30. 结束 谢谢观赏！