“云存储系统”赏析系列分享三：Sql与nosql
- 2. Agenda单机存储引擎
- 3. 从单机到多机
- 4. SQL与NOSQL融合
- 5. 奇技淫巧2
- 6. 单机存储引擎3
- 8. 问题
- 10. 锁冲突
- 12. NOSQL解决方法
- 13. 减少索引量
- 14. 数据静态化，定期合并4
- 16. 优化方法：减少索引量
- 17. 实现思路
- 18. 数据追加到磁盘文件
- 20. 减少key占用的内存
- 21. 对key求md5
- 23. 定期合并
- 24. 参考系统：Bitcask5
- 27. 解决随机写问题
- 28. 实现思路
- 29. 数据先写入Memtable
- 33. 参考系统：Leveldb6
- 35. 随机读取
- 36. 一次写入，多次读取：搜索
- 37. 增强单机服务能力，节省成本
- 39. 从单机到多机8
- 40. Hash划分Hash取模
- 41. Hash 模 N，N为机器分组数
- 43. Hash分桶
- 44. 对key取模后分到Q个桶中
- 46. Hash散列后数据划分天然均匀
- 47. 实例：Tair系统9
- 48. 连续块连续块
- 52. 支持scan操作，但实现复杂
- 54. 同构系统同构系统
- 57. 假设服务数据量1TB，内部传输带宽限制20MB/s，增加副本的时间为1TB / 20MB/s = 50000s，大约10几个小时；
- 59. 异构系统两层系统
- 61. 数据迁移瞬间完成
- 63. 动态数据与静态数据分离
- 64. 动态数据量小，迁移瞬间完成；
- 67. SQL与NOSQL融合13
- 68. Why NOSQL?大型公司
- 71. 解决OLAP分析型问题；
- 72. 集群规模大可节省成本；
- 73. 中型公司
- 77. 底层系统极限调优；
- 80. 划分entity group，entity group内部实现RDBMS功能，entity group之间弱关联获取可扩展性；
- 82. 索引：Local index + global index；
- 84. 奇技淫巧16
- 86. 内部网络减少数据复制时间
- 88. 分裂问题：手工或定期触发分裂
- 90. 广告统计系统单用户过大问题
- 92. 绕开Paxos
- 93. Zookeeper使用方式松耦合
- 95. 实现技巧Group Commit
- 96. 主备强同步
- 97. Skip List or 块链实现copy-on-write Memtable
- 99. 降低Cache锁粒度
- 100. 考虑宕机的情况下高效生成有序ID
- 101. 任务区分优先级，对低优先级任务限速
- 103. 多机同步数据校验
- 105. etc…18