mooyuan的网络安全博客

本文是《Web安全之机器学习入门》的读书笔记总结，这本书涵盖Webshell检测、用户异常操作检测、DGA域名检测、垃圾邮件/垃圾短信等场景，结合实战案例讲解如何用机器学习和深度学习模型（CNN、RNN等）解决网络安全难题。第1-4 章为基础内容，主要讲解机器学习和web安全基础知识、以开发环境的搭建等内容。第5-15章深入讲解机器学习和深度学习在网络安全的应用，书中案例丰富且具实践价值。

本小节通过实例讲述CNN识别垃圾邮件的方法。CNN（卷积神经网络）是一种专门为处理具有网格结构数据（如图像、音频）设计的深度学习模型。它通过卷积层自动提取数据的局部特征，利用池化层降低数据维度、减少计算量，再由全连接层完成分类或回归任务。因其权值共享、局部连接的特性，有效减少了模型参数数量，降低过拟合风险。广泛应用于图像识别、目标检测、语义分割等领域，是计算机视觉领域的核心技术。

本小节通过CNN识别恶意评论，可以对比之前16.3章节做效果对比。从结果可知，CNN准确率为66.79%，根据之前章节16.3的测试结果NB仅49.37%，RNN是61.88%，稍微好点。本小节通过CNN识别恶意评论，可以对比之前16.3章节做效果对比。数据集按照6:4的比例生成训练集和测试集，源码如下。相关数据集处理方法可参考16.3节笔记。

本小节通过tflearn库的CNN算法来识别验证码，由于本书多篇章节讲解MNIST图集的识别算法，故而本节主要重点关注在CNN的使用方法。1、数据集特征化X, Y, testX, testY = mnist.load_data(one_hot=True)X = X.reshape([-1, 28, 28, 1])testX = testX.reshape([-1, 28, 28, 1])X, mean = du.featurewise_zero_center(X)testX = .

本小节通过RNN识别异常操作。RNN识别异常的流程图如下所示，首先，训练操作命令块分别进行词集化处理和序列化处理，转化为操作命令序列。一部分操作命令序列结合标记用于 RNN 训练；另一部分操作命令序列输入到已训练好的 RNN 分类器中，最终由 RNN 分类器输出标记，实现对操作命令的分类。

人们在设置密码时候，总是倾向于好记的密码，于是常见的密码有一定的关联性。我们可以尝试让RNN学习常见的密码，摸索其中的规律，然后自动生成密码。本小节示例RNN生成常用密码。

本小节基于ADFA_LD数据集通过RNN优化算法LSTM识别WebShell来示例RNN如何应用在网络安全中。

本例通过将美国现有城市录入RNN，RNN学到城市名称的潜在规律后，随机生成新的城市名称。

本节通过基于 NB（朴素贝叶斯）或 RNN（循环神经网络）模型进行电影评论情感分类。对于待分类的普通评论，同样先经词袋模型特征化得到特征向量，再输入到已训练好的 NB/RNN 模型中进行分类，最终输出分类标签，判断评论是正面还是负面。

本小节使用Movie Review Data数据集训练RNN模型识别恶意评论。

本小节通过tflearn库的RNN算法来识别验证码，对比了DNN与RNN两种算法的准确率。

本小节通过识别垃圾邮件，讲解tensorflow通过神经网络DNN在网络安全方向的应用，同时还对比了NB算法的垃圾邮件识别效果。

本小节通过DNN识别验证码（MNIST数据集）1、DNN原理示意图2.定义DNN这里配置隐藏层共3层，使用relu函数n_hidden_1 = 300n_hidden_2 = 200n_hidden_3 = 100n_input = 784n_classes = 10x = tf.placeholder("float",[None,784])y = tf.placeholder("float",[None,n_classes])def multilayer_perc

本章节根据《Web安全之机器学习入门》第15章神经网络来完成笔记，本小节相对于15.4节，使用多层感知机来进行处理验证码。

系列目录本章节根据《Web安全之机器学习入门》第15章神经网络来完成笔记，本小节目标是通过实例展示如何使用tensorflow识别验证码（MNIST图像）。

本小节是示例如何通过神经网络检测Java溢出攻击，工作原理如下。

本小节是通过示例如何通过神经网络识别验证码（mnist数据集）。

本小节通过挖掘后门文件的潜在联系和域名的潜在练习，讲解知识图谱在威胁情报领域的应用。

知识图谱通过构建实体与关系网络，将海量信息结构化，在风控领域发挥关键作用。本小节通过账号被盗、撞库攻击和刷单行为的三种检测来讲解知识图谱在风控领域的应用。

本节讲解知识图谱（Knowledge Graph）示例应用，主要是挖掘数据的潜在联系与价值，被称为知识域可视化或知识领域映射地图。它是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系import networkx as nximport matplotlib.pyplot as pltdef helloWord(): G = nx.Graph() G.add_node("u1") G.

本小节通过有向图识别僵尸网络来示例网络安全领域的应用。一、僵尸网络上图为黑产控制僵尸网络发起攻击的示意图，通常来说黑产会对整个僵尸网络的僵尸主机发布相同的控制指令，所以通过统计一段时间内攻击源的ip地址以及被攻击者域名之间的关联关系，可以初步判断出哪些IP地址可能被同一黑产团体控制。本小节中，僵尸网络的有向图处理如下所示：二、数据集文件位置：filename="../data/etl-ip-domain-train.txt"脱敏函数with open(file

本小节示例有向图识别WebShell。有向图是一种由顶点（也称为节点）和有向边组成的图形结构。其中，每条边都有一个方向，从一个顶点指向另一个顶点，这表示了顶点之间的某种单向关系。例如，在一个表示网络中数据流向的有向图中，顶点可以代表不同的网络设备或节点，有向边则表示数据从一个设备流向另一个设备的方向。

Neo4j 是一款开源的图数据库管理系统，以属性图为数据模型，用节点表示实体，边表示实体间关系，属性则存储相关数据。通过直观的图形化界面，用户能方便地进行数据可视化和操作。其查询语言 Cypher 简洁易懂，可高效处理复杂的图数据查询和分析任务。Neo4j 在社交网络分析、知识图谱、推荐系统等领域应用广泛，能帮助企业快速处理和理解复杂的关系型数据，为决策提供有力支持。注意：auth中第二个参数为在第一步安装过程中配置的密码7474。在安装成功后，会让修改密码，我直接将密码改为了7474。

DGA 域名是指通过特定的算法动态生成的域名，这些算法通常基于时间、计数器或其他随机因素。恶意软件利用 DGA 域名来定期生成大量的域名，其中只有少数几个域名会被用于实际的恶意通信，而其他域名则作为诱饵或备用，增加了检测和防范的难度。

本小节示例另一种马尔可夫识别XSS攻击的方法。马尔可夫模型在 XSS（跨站脚本攻击）检测主要通过分析输入字符串的字符序列概率分布，识别异常模式（如恶意脚本片段）。

本小节通过使用隐式马尔可夫来识别XSS攻击，示例隐式马尔可夫在网络安全中的使用。1、参数建模2、数据处理与特征提取3、训练模型4、模型验证5、完整代码

通过建立马尔可夫模型，学习正常域名的字符转移概率，然后将待检测域名与模型进行对比，计算其属于正常域名或 DGA 域名的概率，从而识别出潜在的恶意域名。通过构建一个高斯隐马尔可夫模型（GaussianHMM），并手动设置模型的参数（初始状态概率、状态转移矩阵、均值和协方差矩阵），然后从该模型中生成 500 个样本，最后将这些样本数据绘制出来，并标注每个状态的位置。：马尔可夫模型的状态完全可见，而HMM的状态是隐藏的，需通过观测数据反推。（当前状态仅依赖前有限个状态）的随机过程，常用于序列建模。

目前互联网中有大量僵尸主机进行探测扫描行为，这些僵尸主机为了避免被安全设备检测到，通常会频繁更换IP地址，故而很难仅仅只通过ip地址就确定僵尸主机。本小节通过使用FP-growth算法，分析防火墙的拦截日志，挖掘出浏览器的user-agent字段和被攻击的目标url之间的关联关系，来初步确定潜在的僵尸主机。FP-Growth（Frequent Pattern Growth，频繁模式增长）算法是一种用于高效发现数据集中频繁项集的算法，由Jiawei Han等人在2000年提出。

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本小节示例FP-growth算法的基本使用方法，FP-growth算法主要应用在推荐系统，用于挖掘出数据关联规则的算法。

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。通常情况下Apriori算法主要用于推荐系统，在网络安全中如何使用呢？本小节讲解下Apriori算法挖掘XSS相关参数。

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本小节示例Apriori算法的基本使用方法，apriori算法主要应用在推荐系统，用于挖掘出数据关联规则的算法,它用来找出数据值中频繁出现的数据集合,找出这些集合的模式有助于我们做一些决策。

本小节通过生成的聚类数据集，使用DBSCAN方法进行分类，并将其可视化。

DGA域名指僵尸网络通过算法生成的随机性较高的域名,此类域名往往被攻击者用于构建自己的恶意软件基础设施，用于绕过安全产品的黑名单，从而规避安全设备的拦截以建立C2链接或DNS通道传输。1.数据集： 本小节使用alexa前1000域名（679个样本：label标记为0）作为白样本，使用dga-cryptolocker（1000个样本：label标记为1）和dga-tovar-goz（1000个样本：label标记为2）做为黑样本.def load_alexa(filename):...

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本文这一小节主要内容是讲解第10章使用K-MEANS算法的基本用法，本小节是通过生成的聚类数据集，使用K-means方法进行分类，并将其可视化。

DGA（Domain Generation Algorithm）域名生成算法是一种利用随机字符等算法来生成C&C域名，从而逃避安全设备域名黑名单检测的技术手段。1.黑样本def load_dga(filename): domain_list=[] #xsxqeadsbgvpdke.co.uk,Domain used by Cryptolocker - Flashback DGA for 13 Apr 2017,2017-04-13, # http://osint..

本文这一小节主要内容是讲解第8章使用SVM算法的基本用法，本小节使用svm检测XSS攻击，数据集是通过网上搜集的php脚本数据集合。支持向量机SVM（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。对于数据集文件，每项提取出四个特征，分别是：url长度、url中包含的第三方域名的个数、敏感字符的个数、敏感关键字的个数。

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本文这一小节主要内容是讲解第8章使用逻辑回归算法的基本用法，本小节是通过随机创建40个点，构造超平面，使用svm处理并分类。

本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本文这一小节主要内容是讲解第8章使用逻辑回归算法的基本用法，本小节是通过使用逻辑回归算法对mnist数据集的数字识别，效果只能说勉强凑合，不过比7.8节的nb算法好一些

本小结是基于ADFA-LD数据集使用逻辑回归算法检测JAVA溢出攻击。 1.数据集

系列目录本系列是《Web安全之机器学习入门》的笔记集合，包含书中第五章-第十七章的内容。本文这一小节主要内容是讲解第8章使用逻辑回归算法的基本用法，本小节主要内容是用鸢尾花数据集来作为实验数据集讲解逻辑回归的基本用法。