黑帽seo培训_网络信息安全_渗透测试培训_若钒安全网

若钒渗透技术及黑帽SEO培训,
一对一教学国内外白帽黑帽seo技术!微信:tllieshou520 QQ:273439015

技术讨论

微信:tllieshou520 QQ:273439015网络安全是一股日新月异的潮流,每天0天和N天的互联网攻击从未曝光过。

然后,一个每个人都意识到的重要问题出现了:你如何从海量的Web访问日志中拯救出一小撮异常请求,供安全人员分析或自动化实时阻塞和警报?对于这个问题,传统的方法是使用传统的WA F(没有机器学习引擎)进行规则匹配。

传统的WAF有其意义,但也有其制约因素。

首先,安全从业人员知道,基于黑名单的防御往往有被绕过的各种风险,在安全论坛上查看打狗(安全犬)的秘密书籍就可以看到这一点。

其次,传统的WAF只能找到已知的安全攻击行为或类型,对新的攻击存在更新延迟,维护成本较高。

我认为这些问题源于这样一个现实:传统的WAF无法对它所保护的站点建模,因此它只能保护各种Web系统,而不是基于已知的规则进行区分。

近年来,机器学习(包括深度学习)侵入了人们的视野,并逐渐应用于信息安全领域。

基于机器学习的WAF相关论文和文章也被阅读过,好像每个人都主要应用了监督机器学习,所有人都提到了一个问题:标记攻击数据集(黑色样本)很难大量获得。

然而,当小波提出无监督异常检测的思想时,它会遇到精度低的问题。

针对这些问题,我决定先做一些分解。

由于很难直接预测整个请求是否是攻击,因此很难达到可接受的精确性,所以首先找出异常的攻击有效载荷。

找出,可以用于精确的攻击分析,也有助于优化WAF规则等。

本文所描述的技术的最大优点是它可以在没有先验规则的情况下自动提取异常有效载荷。

为了使日志中需要保护的Web系统的结构信息最大化,我决定根据访问路径分解请求,即分析相同路径和参数键的其他参数值中参数值的异常程度。

具体算法步骤如下:1)基于TF-ID对不同路径下的样本进行量化,并根据参数维数对特征向量进行聚类。

2)在特征向量的基础上,提取相同路径和相同密钥的其它参数值中样本参数的异常分数(异常分数)。

3)设置阈值T,取大于T的异常参数值作为输出。

0×2数据集及其预处理本文采用HTTPCSIC 2010数据集。

该数据集由CSIC作为论文通用特征选择度量在检测Web攻击中的应用的附件提供,是一个访问电子商务网站的日志,其中包含36000个正常请求和25000多个攻击请求。

异常请求示例包含SQL注入、文件遍历、CRLF注入、XSS、SSI和其他攻击示例。

它也在这个项目的Github中准备好了。

因此,格式化数据集,只留下HTTP方法、路径和参数,以便以后在JSON格式中易于使用。

具体执行以下预处理,具体代码参见data/parse.py:1)删除冗余信息。

2)执行迭代的urldecode。

3)生成标准化参数,将大小写字母和数字分别转换为a和n。

同时保留原始和标准化的参数作为最终的有效载荷提取。

0x3a矢量量化和参数异常评分Web访问记录的各个组成部分(方法、路径、参数、HTTP报头、Cookie等)是固定的。具有较好的结构特性。

因此,Web攻击识别任务可以抽象为文本分类任务,并将其应用于安全领域,如监督攻击识别[1]、XSS识别[2]等。

文本分类任务中常用的向量方法有字包模型(字包、弓包)、TF-以色列国防军模型、字向量(Word 2vec)等。对窦葛文[3]作了详细解释。

分析了Web日志的特点,认为利用TF-ID对样本进行矢量化比较好。

一是标准化后所请求参数的值仍有很多可能性,在这种情况下,词袋模型生成的特征向量长度会很大,不能缩小;二是每个请求中的参数个数大或小,大多数不超过10个,此时词向量所能表达的信息非常有限,不能反映参数值的异常。第三,TF-IDF可以表示对同一参数的不同请求的值是否更具体,特别是ID F项。

此外,10个请求的ipAddr是不同的攻击有效负载,例如警报(‘XSS’)、‘1’=‘1’。

熟悉TF-IDF的同学一定有疑问,你的TF-IDF字典也会很大,如果样本量和有多种参数值,你的特征向量不稀疏吗?我有一个解决这个问题的方法,即进一步处理所有TF-IDF,并用相同的参数键对TF-ID F项进行求和。

下图显示了该模型的学习曲线,表明该模型仍处于训练不足的状态,如果样本数量足够,将得到较好的结果。

由于本文所描述的方法旨在利用非监督学习提取异常参数,因此不需要纠缠于监督分类的结果,只要验证提取的特征确实能够反映参数的异常..

0x4后续计划本文是将机器学习应用于信息安全领域的一系列尝试中的次尝试。

但我个人喜欢先压抑,然后再压抑,不管结果如何,然后慢慢优化和进步。

稍后,我将在Web安全领域尝试一些机器学习应用程序。

本文在不使用关键Web系统结构信息的情况下,静态提取异常有效负载,包括访问定时、访问源对象(IP、UID、设备指纹等)的特性。),访问分布特征..我将充分利用这些信息,尝试开发一个不规则的简单机器学习WAF..微信:tllieshou520 QQ:273439015

若钒黑帽seo,提供最专业的黑帽seo和web渗透技术视频直播 以实战为主。提供最专业正规的黑帽seo培训渗透测试培训、欢迎咨询!! 微信:tllieshou520 QQ:273439015 红蓝对抗培训
转载请注明出处:黑帽seo培训_网络信息安全_渗透测试培训_若钒安全网 » 技术讨论

若钒黑帽渗透技术-提供最专业的渗透测试培训,黑帽SEO培训,欢迎骚扰!!

若钒黑帽SEO培训 渗透测试技术培训
no cache
Processed in 2.497416 Second.