lonelymanontheway的博客

设计URL缩短器：URL重定向、缩短URL、哈希+冲突解决、Base62转换；设计网络爬虫：DFS和BFS、URL前线、HTML下载器、检测有问题内容；设计通知系统：不同类型的通知、通知发送的可靠性、限流；设计news feed系统：feed的发布与构建、推送模型、拉取模型；设计聊天系统：轮询、长轮询、WebSocket、消息流；设计搜索自动补全系统：topk问题、字典树及其操作、浏览器缓存、存储扩展；

设计视频分享系统：视频上传、视频流式传输、视频转码、有向无环图、视频转码；设计云盘：块服务器、元数据、节约存储空间；设计支付系统：收款流程、复式记账系统、托管支付页面、付款流程、重试和幂等、同步支付和异步支付、一致性、处理支付失败；设计指标监控和告警系统：数据模型、指标数据收集、查询服务、存储层、告警系统、可视化系统；

从0到100万用户的扩展：单服务器配置、数据库、横向扩展、负载均衡器、数据库复制、缓存、CDN、无状态网络层、数据中心、消息队列、记录日志与收集指标与自动化、数据库扩展；封底估算：2的幂、操作耗时、可用性、案例、小技巧；系统设计面试的框架：四个步骤、时间分配；设计限流器：算法；设计一致性哈希系统：哈希空间和哈希环、虚拟节点；设计键值存储系统：CAP理论；设计分布式唯一ID生成器：工单服务器、Twitter snowflake；设计URL缩短器；设计网络爬虫：DFS和BFS、URL前线；

做不到实时：原因、Lambda架构、Kappa架构；数据传输：消息中间件、Kafka、RabbitMQ、Camel；数据存储：存储的设计原则、点查询、Ad-Hoc查询、离线分析、关系型数据库查询；服务治理和配置管理：服务治理、面向配置编程、动态配置、将前端配置与后端服务配置隔离开；应用案例：实时流数据特征提取引擎、使用Flink实现风控引擎。

术语；模型：架构、内存缓存、运行队列；概念：时钟频率、指令及流水线、指令宽度、CPI，IPC、使用率、内核时间、饱和度、抢占、优先级反转、多进/线程、字长、编译器优化；架构：硬件、软件；方法：工具法、USE、负载特征归纳、剖析、周期分析、性能监控、静态性能调优、优先级调优、资源控制、CPU绑定、微型基准测试、扩展；分析：uptime、vmstat、mpstat、sar、ps、top、prstat、pidstat；实验：Ad Hoc、SysBench；调优：编译器选项、调度优先级和调度类、调度器

实时流计算：引言、使用场景、实时流数据特点、系统架构；数据采集：设计接口、Spring Boot、BIO与NIO、NIO和异步、Netty；实现单节点流计算应用：自己动手写实时流计算框架、CompletableFuture原理及实现、性能调优；数据处理：在计算什么、流数据操作、时间维度聚合特征计算、关联图谱特征计算、事件序列分析、模型学习和预测；状态管理：流的状态、采用Redis实现、采用Ignite实现、扩展为集群；开源流计算框架：Storm、Streaming、Samza、Flink；

初识GPT-4和ChatGPT：LLM概述、GPT模型简史：从GPT-1到GPT-4、LLM用例和产品、AI幻觉、插件和微调；深入了解API：基本概念、可用模型、OpenAI Playground、Python库、其他文本补全模型、考虑因素；构建应用程序：概述、设计原则、漏洞、示例项目；高级技巧：提示工程、微调；使用LangChain和插件增强LLM功能：LangChain（动态提示词、智能体及工具、记忆、嵌入）、GPT-4插件；

浏览器网络概述：连接管理与优化、网络安全与沙箱、资源与客户端状态缓存、应用API与协议；XMLHttpRequest：XHR简史、CORS、XHR下载、XHR上传、监控下载和上传进度、流式数据传输、实时通知与交付（轮询）、使用场景及性能；服务器发送事件：Server-Sent Events、API、Event Stream协议、使用场景及性能；WebSocket：API、协议、使用场景及性能；

标准和WebRTC的发展；音频和视频引擎；实时网络传输；建立端到端的连接：发信号和协商会话、SDP、ICE、Trickle ICE、跟踪ICE收集和连接状态；交付媒体和应用数据：通过DTLS实现安全通信、通过SRTP和SRTCP交付媒体、通过SCTP交付应用数据DataChannel：设置与协商、配置消息次序和可靠性、部分可靠交付与消息大小；使用场景及性能：音频、视频和数据流、多方通信架构、基础设施及容量规划、数据效率及压缩；性能检查表；

应用程序基础：目标、常见情况的优化、观测性、大O标记法；应用程序性能技术：尺寸、缓存、缓冲区、轮询、并发和并行、非阻塞I/O、处理器绑定；编程语言：编译语言、解释语言、虚拟机、垃圾回收；方法和分析：线程状态分析、CPU剖析、系统调用分析、IO剖析、工作负载特征归纳、USE方法、向下挖掘法、锁分析、静态性能调优；练习

工具类型：计数器、跟踪、剖析、监视sar；观测来源：proc、sys、kstat、延时核算、微状态核算、其他观测源；DTrace：静态和动态跟踪、探针、provider、参数、D语言、内置变量、action、变量类型、单行命令、脚本、开销、文档和资源；SystemTap：探针、tapset、和内置变、示例、开销、文档和资源；perf；观测工具的观测；练习；

操作系统：术语；背景：内核、栈、中断和中断线程、中断优先级、进程、系统调用、虚拟内存、内存管理、调度器、文件系统、缓存、网络、设备驱动、多处理器、抢占、资源管理、观测性；内核：UNIX、基于Solaris、基于Linux、差异；练习

绪论：系统性能、人员、事情、视角、性能调优充满挑战、延时、动态跟踪、云计算、案例研究；方法：术语、模型、概念、视角、方法、建模、容量规划、统计、监视、可视化；

专业主义、说不、说是、编码、测试驱动开发、练习、验收测试、测试策略、时间管理、预估、压力、协作、团队与项目、辅导与学徒期与技艺、工具。

概述、架构、ConfigServer、DataServer（自动复制和迁移、插件容器）、源码（ConfigServer、DataServer、数据结构）、高可用（对照表(对照表的初始化、负载均衡策略、多机架支持)、数据迁移）、存储引擎（mdb、fdb、ldb、kdb）、API（KV、Prefix、Range、version）

自适应统计编码：位置对熵的重要性、自适应VLC编码、自适应算术编码、自适应哈夫曼编码；字典转换：基本字典转换、LZ算法、尽可能了解数据；上下文数据转换：RLE、增量编码、MTF、BWT；数据建模：马尔可夫链、部分匹配预测算法、上下文混合算法；换个话题：多媒体数据压缩、通用压缩；

序言、前言；并非无趣的一章：5类数据压缩算法、克劳德•香农、数据压缩必知；不容错过的一章：二进制、信息论；突破熵：理解熵、熵的用途、理解概率、突破熵、信息论与数据压缩；VLC：摩尔斯码、概率和熵与码字长度、VLC、最适合；统计编码：统计、哈夫曼编码、算术编码、ANS、选择；

评价数据压缩：使用场景、需求、压缩率、压缩性能、解压性能、解码流能力、比较；压缩图像数据：理解图像质量与文件大小、图像尺寸、图像格式、GPU纹理格式、矢量格式；序列化数据：使用场景、问题、更小的序列化数据；有损数据压缩；让世界变得更小；

持续学习与实验的技术实践：将学习融入日常工作、将局部经验转化为全局改进、预留组织学习和改进的时间；集成信息安全、变更管理和合规性的技术实践：将信息安全融入每个人的日常工作、保护部署流水线；附录：DevOps大融合、约束理论和核心的长期冲突、恶性循环列表、交接和队列的危害、工业安全误区、丰田安灯绳、猿猴军团；认证考试；参考资源；

流动的技术实践：为部署流水线奠定基础、实现快速可靠的自动化测试、应用和实践持续集成、自动化和低风险发布、降低发布风险的架构；反馈的技术实践：建立能发现并解决问题的遥测系统、分析遥测数据以更好地预测故障和实现目标、应用反馈实现安全部署、假设驱动的开发和A/B测试、建立评审和协作流程以提升当前工作的质量；

前言；导言：展望DevOps新世界、用DevOps打破恶性循环、阅读指南；DevOps介绍：敏捷&持续交付和三步法、流动原则、反馈原则、持续学习与实验原则；从何处开始：选择合适的价值流作为切入点、理解、可视化和运用价值流、参考康威定律设计组织结构、将运维融入日常开发工作；

介绍：概念；SET：概念、测试命名规则、测试认证；TE：职责、测试计划、风险、生命周期、Maintenance Mode Testing、QualityBot、BITE、GTA、零成本测试流程、外部供应商；TEM；改进：Chrome OS测试计划；Chrome漫游测试；

Google

编程技术：代码评审、审读代码、调试机制、日志、单元测试、断言、改动受测程序验证推想、缩小正确范例与错误代码之间的差距、简化可疑代码、将可疑代码改用另外一种编程语言来写、改善可疑代码可读性、清除bug根源；编译时调试：检视生成代码、静态分析工具；运行时调试：测试用例、令软件在遇到问题时尽早退出、检视日志文件、性能评测、追踪程序的执行情况、使用动态程序分析工具；调试多线程：通过事后调试来分析死锁问题捕获并重现用专门的工具来探查死锁与竞争条件问题把不确定的因素隔离出来，或将其移除检查资源争用情况

预备；标记清除：多个空闲链表、BiBOP法、位图标记、延迟清除法；引用计数法：延迟引用计数法、Sticky引用计数法、1位引用计数法、部分标记-清除算法；复制：Cheney复制GC、近似深度优先搜索方法、多空间复制算法；标记压缩：Two-Finger、表格、ImmixGC；保守与准确GC：保守GC、准确GC、间接引用、MostlyCopyingGC、黑名单；分代垃圾回收：Ungar分代垃圾回收、多代垃圾回收、列车垃圾回收；增量垃圾回收：Steele、汤浅、比较各个写入屏障；RC Immix算法

务实的哲学务实的方法基础工具务实的偏执宁弯不折并发当你编码时项目启动前务实的项目

延迟与带宽：Hibernia Express、Bufferbloat、traceroute；TCP构成：三次握手、拥塞预防及控制（流量控制、慢启动、拥塞预防）、带宽延迟积、队首阻塞、TCP优化建议；UDP构成：无协议服务、UDP与网络地址转换器（连接状态超时、NAT穿透、STUN与TURN与ICE）、UDP优化建议；传输层安全：加密&身份验证与完整性、TLS握手、TLS会话恢复、信任链与证书颁发机构、证书撤销、TLS记录协议、TLS优化建议；

HTTP简史：HTTP 0.9：只有一行的协议、HTTP 1.0：迅速发展及参考性RFC、HTTP 1.1：互联网标准、HTTP 2.0：改进传输性能；Web性能要点：超文本、网页和Web应用、剖析现代Web应用、性能来源：计算、渲染和网络访问、人造和真实用户性能度量、针对浏览器的优化建议；HTTP 1.x：持久连接、HTTP管道、使用多个TCP连接、域名分区、度量和控制协议开销、连接与拼合、嵌入资源；HTTP 2.0：历史及其与SPDY的渊源、走向HTTP 2.0、设计和技术目标、二进制分帧简介

模型：线性判别分析方法、个人FICO模型信用分、IRB、ABCF卡模型；算法：逻辑回归算法、决策树、集成学习、Bagging、随机森林、Boosting、Adaboost、Stacking；指标：混淆矩阵、评价指标、准确率、精确率、召回率、F1分数、ROC曲线、AUC、KS、PSI、基尼系数；

概念、原理；变体：ALBERT、RoBERTa、ELECTRA、SpanBERT、DistilBERT、TinyBERT、BERTSUM、M-BERT、XLM、FlauBERT、Sentence-BERT、ClinicalBERT、BioBERT、VideoBERT、BART；数据集、Python库、Python Transformers内置预训练模型

ChatGPT，BERT，

环境搭建、函数；Pandas；NumPy；表格管理技术；数据处理基础；字符串清洗、正则；日期和时间处理；高级索引；数据汇总；表格转换

读书笔记。可作为工具书，值得翻阅，常读常新

第1章 Spring原理及应用第2章 Spring Cloud原理及应用

概述基础示例

第一章 mybatis 入门第二章 mybatis xml 基本使用第三章 mybatis 注解 基本使用不推荐的使用方法。优点：对于需求简单的系统，效率较高；缺点：SQL 变化时，需要重新编译代码。四个基本注解：@Select、@Insert、@Update、@Delete。基本注解的参数，可以是字符串数组类型，也可以是字符串类型。四个Provider注解：@SelectProv...

概述

福利置顶（温馨提示）：电子版可在微信读书app阅读。第一章 ClickHouse的前世今生

概述面试造大炮，工作扭螺丝。现在的面试，算法和数据结果是必备的环节，甚至很多国内的大厂纷纷效仿国外大厂如Google，Microsoft，面试只考核算法。序章算法的定义：计算或者解决问题的步骤；算法与程序的区别；全排列算法：n!种不同的结果；效率非常低；时间复杂度：用来定量标志算法的运行效率，用步数来计算，1步是计算的一个基本单位。用O表示，忽略重要项以外的内容，言外之意对一个算法执行步数的计算结果只考虑指数级最大的一部分；O(n^2)的含义：算法的运行时间最长也就是n^2的常数倍。延伸延伸

目录