流量清洗产品概述和关键技术介绍
- 1. 李晗 [email protected] 2012 年 11 月
- 2. 网络如同江河湖海
- 3. 假如流量并不清洁
- 4. 泼掉脏水的同时孩子怎么办
- 5. 流量清洗产品的定义和核心问题 • 定义：用于准确识别网络中的异常流量， 丢弃其中的异常流量，保证正常流量通行 的网络安全设备。 • 核心问题：如何准确区分网络中的异常流 量和正常流量？
- 6. 流量清洗培训三部曲 • 《流量清洗产品概述和关键技术介绍》 • 《抗攻击原理和算法介绍》 • 《 DNS 安全》
- 7. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
- 8. 流量清洗的主要对象 DDOS • 最早的 DOS ： 1988 年 11 月 2 日，一个叫 RobertMorris 的美国大学 生写了一个蠕虫程序，导致当时因特网上约 15% 的电脑受感染停止 运行。巧合的是，这个人的父亲老 Morris 是 UNIX 的创始人之一，专 门帮助政府对抗电脑犯罪。 • DDOS 经历了三个发展阶段： 1 、技术发展阶段。从上世纪 90 年代起，因特网开始普及，涌现了 大量的 DOS 技术，很多现在仍然很有效，包括 synflood ， smurf 等 。 2 、从实验室向“产业化”过渡阶段。 2000 年前后， DDOS 出现，雅 虎、亚马逊等多个著名网站遭受攻击并瘫痪。 3 、商业时代。近些年，网络快速发展，接入带宽快速增长，个人电 脑性能大幅提高， DDOS 攻击越来越频繁，出现了很多专业出 租“ botnet” 网络的 DDOS 攻击产业。
- 9. DDOS 攻击的本质 • 利用木桶原理，寻找并利用系统资源的瓶 颈 • 阻塞和耗尽
- 10. DDOS 攻击分类 • 连接耗尽型，包括 SYN flood ，连接数攻 击等； • 带宽耗尽型，包括 Ack flood ， UDP flood ， ICMP flood ，分片攻击等； • 针对特定应用，包括 HTTP Get flood ， CC ， HTTP POST 慢速攻 击， DNS flood ，以及针对各种游戏和数 据库的攻击方式。
- 11. DDOS 举例— SYN flood 为何还 SYN Flood 攻击原理 没回应 攻击表象 伪造地址进行 SYN 请求 • SYN_RECV 状态 SYN （我可以连接 • 半开连接队列 吗？） 就是让 不能建立正常的连接！ 你白等 – 遍历，消耗 CPU 和 内存 受害者 ） – SYN|ACK 重试 ！ 认 – SYN Timeout ： 30 确 请 秒 ~2 分钟 （ YN • 无暇理睬正常的连接 /S 请求—拒绝服务 ） 以 攻击者 可 （ K AC 请发我 求过没
- 12. DDOS 举例—连接数攻击 Connection Flood 攻击原理 攻击表象 大量 tcp connect • 利用真 实 IP 地址（代 理服务器、广告 页面）在 正常 tcp connect 这么多？ 正常 tcp connect 服务器上建立大量连接 正常 tcp connect 正常 tcp connect • 服务器上残余连接 攻击者 正常 tcp connect (WAIT 状态 ) 过 多，效率 降低，甚至资源耗尽，无 法响应 正常 tcp • 蠕虫 传 播 过 程中会出 现 connect 受害者 大量源 IP 地址相同的包 不能建立正常的连接 ，对于 TCP 蠕虫则表现 正常用户 为大范围扫描行为 • 消耗骨干 设备 的 资 源 ， 如防火墙的连接数
- 13. DDOS 举例— UDP flood 网卡 出口 堵塞，收 UDP Flood 攻击 原 不了数据 攻击 表象 理 包了 • 大量 UDP 冲击服务器 UDP （非业务 数据） • 受害者带宽消耗 占用 UDP （大包 / 负载 ） 带宽 • UDP Flood 流量不仅仅影 受害者 响服务器，还会对整个传 输链路造成阻塞 弃 丢 攻击 者 04/19/13 13
- 14. 分片攻击 • 有些系统会对分片报文重组。为此，系统 必须保持所有未完成的数据包的分片（直 到超时或满足其他条件）。 • 攻击者伪造并发送大量的分片，但却不让 这些分片构成完整的数据包，以此占用系 统 CPU 和内存，构成拒绝服务攻击。 • 攻击者还可以发送偏移量有重叠的分片消 耗系统资源。
- 15. DDOS 举例— Teardrop Teardrop 攻击 Teardrop 攻击 服务器 攻击表现 攻击表现 系统崩溃 发送大量 UDP 病态分片数据包 发送大量的 UDP 病态分 UDP Fragments 片数据包 UDP Fragments 早期操作系统收到含有 UDP Fragments UDP Fragments 重叠偏移的伪造分片数 UDP Fragments 据包时将会出现系统崩 受害者 溃、重启等现象 攻击者 现在的操作系统虽不至 吗 ？） 连接 于崩溃、重启，但是处 可以 应 （我 响 S YN 停止 理分片的性能并不高， 正常 机 ， 器宕 疲于应付 服务 无暇理睬正常的连接请 求—拒绝服务
- 16. DDOS 举例— CC/HTTPGet flood
- 17. 流量清洗前世 在流量清洗产品问世前，会采用以下办法 • 黑洞技术：将路由指向不存在的地址 • 路由器上： ACL ，反向地址查询，限速 • 防火墙：状态检查，访问控制 • IPS ：特征过滤
- 18. 为应对 DDOS 产生的清洗技术 • SYN Cookie • 基于流量特征聚类的攻击特征提取 • 基于网络中各种标志位 TCP 报文的比例关 系检测攻击 • 基于流量自相似性的检测 • 基于服务器的认证机制 • 基于拥塞控制的防范机制 • Trackback
- 19. 流量清洗产品的特点 • 适合串联和旁路部署 • 经常和检测设备搭配使用 • 支持多种路由和 VPN 相关的协议 • 转发不受新建连接数限制 • 可以抵御大规模的 DDOS 攻击 • 存在很多相对复杂的阈值配置 • 经常需要抓包分析攻击报文
- 20. 回顾与提问 1 、 DDOS 都有哪些常见种类？主要的攻击 原理是什么？ 2 、为什么流量清洗产品面世之前的很多 DDOS 防范技术无法很好的防御 DDOS 攻 击？
- 21. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
- 22. 流量清洗产品的部署方案分类 • 串联线模式 • 思科提出的 flow 检测 + 动态牵引 + 清洗方 案 • 华为提出的 DPI 检测 +TOS 标记牵引 + 清 洗方案
- 23. 串联线模式 192.178.0.0 Trust 区域 联通 Channel 3G 192.168.0.0 Trust 区域 Guard 电信 10G 10G 1G 1G 192.158.0.0 服务器群组 Cernet
- 24. Flow 检测 + 动态牵引 + 清洗方 案
- 25. 旁路部署的环路问题 旁路部署的环路问题 Ip route 10.1.2.0 255.255.255.0 10.1.2.2 Ip route 10.1.2.2 255.255.255.255 10.1.3.1 10.1.3.1 Leadsec-Detector leadsec-Guard 10.1.1.2 目标主机 10.1.2.2
- 26. 规避环路： PBR 注入 旁路部署的环路问题 Ip rout 10.1.2.0 255.255.255.0 10.1.2.2 Ip rout 10.1.2.2 255.255.255.255 10.1.3.1 10.1.3.1 Leadsec-Detector interface Guard ip address 10.1.3.2 255.255.255.0 leadsec-Guard ip policy route-map pbr 10.1.1.2 ! ip access-list extended guard permit ip any any ! route-map pbr permit 10 match ip address guard 目标主机 10.1.2.2 set ip next-hop 10.1.1.2
- 27. 规避环路的方法 Guard Guard 二层回注 PBR 回注 环路问题 解决方案 Guard Guard GRE VRF GRE 回注 MPLS 回注 GRE
- 28. 旁路的优势和劣势 优势： • 部署简单，不需要改变原有网络拓扑 • 性价比高， 100G 的网络第一期可以先部署 10G 的清洗 • 不会引起单点故障 • 方便扩容，集群更容易部署 劣势： • 针对应用层的攻击，尤其是慢速攻 击， flow 检查无法检测到 • 清洗设备不能实时学习正常数据
- 29. 针对应用层防护的旁路改进部署
- 30. DPI 检测 +TOS 标记牵引 + 清洗 待检测流量 任务目标 丢弃流量 DPI 管理设备 任务目标 清洗结果 清洗策略 分流路由器 标记流量 清洗设备 丢弃流量 正常无标记流量
- 31. 回顾与提问 • 流量清洗产品都有哪些常见的部署方式？ • 旁路部署的关键技术问题是什么？ • 旁路部署有哪些优势？ • 思科和华为的方案孰优孰劣？
- 32. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
- 33. 流量清洗产品与防火墙的区别 • 部署方式：支持旁路，串联时一般采用线 模式。 • 功能：防火墙的主要功能是地址转换和访 问控制等；流量清洗的主要功能是抗攻击 ，而且相对防火墙而言功能数量比较少。 • 关键指标：防火墙的关键指标是稳定性和 功能全面，其次是性能；流量清洗产品的 关键指标是抗攻击能力和性能，其次是稳 定性。
- 34. 不同的表现形态 • 流量清洗产品往往采用线模式或接口转发 等比较古怪的转发行为来优化转发性能， 而且流量清洗产品不需要会话和连接跟踪 ，因此转发性能也不依赖于新建连接数和 并发连接数。 • 流量清洗产品的配置项相对较少，主要是 抗攻击相关的功能和统计配置，以及部署 相关的配置。 • 由于上述原因，流量清洗产品容易做到比 较稳定，主要 PK 项是抗攻击算法和性能。
- 35. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析
- 36. 评价标准 • 高性能，包括小包抗攻击性能和转发性能 ，性能计量不用 bps ，而是用 pps • 抗攻击算法可以抵御尽量多的 DDOS 攻击 种类和手法 • 支持方便的抓包分析和攻击取证 • 配置简单方便 • 支持各类串联和旁路部署 • 方便集群和扩容
- 37. 高性能设计思路 • 摒弃防火墙的设计思路，转发不需要会话 和连接跟踪。 • 根据流量清洗产品的网络部署方式比较少 的特点，对转发进行优化。线模式，接口 转发等。 • 需要抗攻击模块分析的大部分报文可以不 走协议栈，以提高性能。 • 对抗攻击功能中的过滤报文部分进行性能 优化，比如采用 ASIC 加速等方式。
- 38. 配置设计思路 • 抗攻击算法比较复杂，初次接触的工程师 不容易搞懂，因此相关的阈值和算法配置 需要尽量简化，并提供配置模板。 • 提供流量自学习功能实现自动或半自动配 置。 • 在菜单上分列流量牵引、流量清洗和流量 统计等项，方便用户配置。大部分抗攻击 功能都是针对目的进行防护，因此采用保 护 IP 来配置抗攻击策略比较合适。
- 39. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
- 40. 黑客惯用的 DDOS 三十六计
- 41. 浑水摸鱼 • 伪造大量有效的源地址，消耗网络带宽或 用数据包淹没受害者，从中渔 利。 Udpflood ， icmpflood 等。 网卡 出口 堵塞，收 不了数据 包了 不管三 七二十 UDP （非业务 数据） 一，多 发报 ICMP （大包 / 负载 ） 文占 带宽 受害者 弃 丢 攻击 者
- 42. 瞒天过海 • 通过代理或僵尸网络建立大量正常连接， 消耗服务资源。连接数攻击， http get flood 等。
- 43. 借刀杀人 • 采用受害者的 IP 作为源 IP ，向正常网络发 送大量报文，利用这些正常 PC 的回应报文 达到攻击受害者的目的。 Smurf,fraggle 等 。 放大网络 DoS 攻击 ICMP 请求 被攻击 者 攻击 者 源 IP= 被攻击 者的 IP 目的 IP= 指向 网络 或子网的广
- 44. 暗渡陈仓 • 利用很多攻击防范设备会将正常访问加入 白名单的特性，利用正常访问的 IP 发动攻 击。改良后的 synflood ， dns query flood 等。 通过白名单 检查，绕过 源 IP 伪造成已经加入白名单的正常 IP DDOS 检查 大量攻击报文 大量攻击报文 大量攻击报文 攻击者 大量攻击报文 受害者 正常访问 IP 加入白名单 正常 tcp connect 控制一些 PC 进行 正常访问和应用
- 45. 笑里藏刀 • 利用一些协议的缺陷，发动看似很慢速的 攻击，由于流量很小不易被检测到，达到 拒绝服务的攻击目的。 http post 慢速攻击 ， SSL 慢速攻击等。 每个连接 HTTP 连接，指定 POST 内容长度为 都在发报 1000 文，不能 HTTP POST 请求连接 1 ，每 10 秒发送 1 个字节 中断 HTTP POST 请求连接 2 ，每 10 秒发送 1 个字节 攻击者 HTTP POST 请求连接 3 ，每 10 秒发送 1 个字节 HTTP POST 请求连接 4 ，每 10 秒发送 1 个字节 受害者 正常 tcp HTTP 请求 正常 connect 不能建立正常的连接 正常用户
- 46. 偷梁换柱 • DNS 投毒，将一个合法域名的 IP 更换为自 己指定的 IP ，达到不可告人的目的。 NS 请求 hhh.baidu.com DNS 请求： hhh.baidu.com 攻击者 2.NS 请求 www.baidu.com 大量 DNS 响应：随机匹配 ID 3. 返回 202.108.22.5 附加域改为 www.baidu.com 权威 DNS 服务器 一级 DNS 服务器 70.35.29.162 www.baidu.com 伪造 DNS 服务器 202.108.22.5 70.35.29.162 4. 1. 返 返 查 回 回 询 5.HTTP 访问 HTTP 访问 百度服务器 用户
- 47. 黑网欲且 客 络 听 兵硝知 下 临烟退 城 次 四敌 下 之分 起 策解
- 48. 谢谢
Editor's Notes
- #22: 我们再来回顾一下 5.19 断网事件 网络故障始于 2009 年 5 月 18 日著名 DNS 服务提供商 DNSPod 受到的 DDoS 攻击，到 5 月 19 日晚上， DNSPod 服务完全中断。由于 DNSPod 是暴风影音的 DNS 服务提供商，进而导致域名 baofeng.com 不能被解析。 随后发生的事情出乎所有人的预料，因为暴风影音客户端无法解析出服务器 IP ，开始转向网络服务提供商的 DNS 服务器发送解析请求，造成当地运营商的 DNS 服务器堵塞。暴风影音的数以千万计用户成为了此次攻击的帮凶，大量的 NDS 请求导致浙江、山西、江苏、天津等多个省份的 DNS 服务中断，无法正常访问互联网。 仔细分析这次事件的原因，可以发现攻击者并没有料到会引起这样大的波澜。就像蝴蝶效应一样，如果我们将中国互联网比作一片汪洋大海， DNSPod 就像是一只蝴蝶。， DNSPod 因遭受攻击瘫痪后，轻轻扇动了一下翅膀。蝴蝶翅膀这次小小地振动让包括暴风影音用户在内的数千万台电脑向互联网大海挂起了一股 DNS 请求飓风，直接导致多个省份的电信用户不能正常使用网络。 “ 暴风门”事件虽然已经结束，但对于异常流量的发展及防范等很多问题值得我们思考。
- #29: 提问