机器学习算法进入深网和暗网，锁定零日漏洞

漏洞也分三六九等，理论上有一些漏洞并不足以让攻击者去威胁你的系统，但是有一些漏洞，比如“零日漏洞”（Zero-day Exploit）就具有巨大的破坏力。有些人依靠这样的漏洞，开发出恶意软件，侵入人们的计算机系统，窃取重要的信息，这是如今网络安全中最大的威胁之一。

发现漏洞，并阻止恶意软件的产生，是网络安全专家重要的工作。如今，亚利桑那州立大学的一个研究团队，开发出一套机器学习算法，帮助监测和识别这些在黑市中交易的漏洞。

一个恶意软件的诞生

2015年2月，微软发现了Windows操作系统中一个严重的漏洞，这可能会让黑客远程操控目标计算机。该漏洞影响范围巨大，包括了Vista、Win7、Win8及其他服务器系统。

微软随后立即发布了补丁，但是漏洞的细节很快在整个黑客社区传播开来。

在4月，一个基于这个漏洞的攻击程序（Exploit）在黑市售卖，售价1.5万美元。7月，基于这个产品的第一个恶意软件出现，是一个名为“ Dyre Banking”的木马程序，可以攻击全球用户并盗取被感染设备上的信用卡号。

从上面这个事件里，我们可以看到恶意软件诞生的基本过程。首先，黑客利用一个漏洞开发出可作攻击使用的程序产品，在黑市上售卖，购买者利用它开发出恶意软件，然后感染用户设备。

在这个案例里，微软自己发现了这个漏洞，并提前发布补丁。但是，如果恶意黑客们在软件公司之前就发现了这个漏洞，那么这个漏洞就是“零日漏洞”了。“零日”这个词用来讽刺软件商和安全公司根本不知晓自己的漏洞：软件商们知道这个漏洞有几天呢？一天也没有！而网络安全专家的主要目标，就是在“零日漏洞”程序变成恶意软件之前找到它们。

机器学习之下的深网和暗网

对亚利桑那州立大学的Eric Nunes和同事们来说，这次的Dyre Banking木马事件给了它们一个重要的灵感，可以用一种全新的方法来应对这类网络安全问题。

他们利用机器学习来研究深网（Deep Web） 和暗网（Dark Web）里的黑客论坛和交易市场，追踪最新的漏洞线索。

先来说一下深网和暗网的概念。一般的网络分三层，首先是表层网络，即普通人平时熟悉和使用的网络，任何搜索引擎都能抓取并轻松访问。然后是深网：表层网之外的所有网络我们都称之为深网，搜索引擎无法对其进行抓取，它并没有完全隐藏起来，只是普通搜索引擎无法发现它的行踪。第三层是暗网：暗网是深网的一部分，但被人为地隐藏了起来。如果不是技术大牛，你很难打入这个网络之中。

Nunes和他的同事们开发出一个爬虫程序，从深网和暗网的HTML网页上搜集信息，来监控这里的黑客的活动。 显然，这一工作的关键在于为爬虫程序找到最佳的起始页面，而这个任务必须由熟悉深网的人来完成。

深网里的内容庞杂，Nunes的系统只提取与黑客活动有关的信息，而摒弃掉无关的类似毒品、武器交易等内容。所以，在建立数据库的过程中，需要为信息贴上标签，为算法指出哪些与黑客活动有关而哪些无关。在目前的训练数据库中，25%的标签都是由人工完成，一个人每分钟要给5个黑市产品或给一个论坛里的两个话题贴上标签。之后，他们用贴好标签的数据来训练算法，用未贴标签的数据来测试学习成果。

研究成果

机器学习的成果十分有趣。Nunes和他的同事们表示，这个机器学习模型，对于黑市产品的识别准确率是92% ，对于论坛里恶意攻击话题讨论的识别准确率是80%。这是一个很高的准确度了。

而且这个系统已经揭露了一些恶意黑客行为。“在4周时间里，我们从黑市交易数据中发现了16个零日漏洞。”该团队透露道。这其中包括一个安卓系统的严重漏洞，交易价格为2万美元，还有一个IE 11浏览器的安全漏洞，价格为1万美元。

该团队也制作出了深网论坛和交易市场里的社交谱系。团队表示，有751个深网用户出现在不止一个交易市场中，其中有一个卖家在7个市场和1个论坛中十分活跃，并提供了80多个与恶意攻击有关的产品。

这门生意真是获利颇丰。“黑市客户对这个卖家的评分在4.7到5.0之间，他进行过超过7000笔成功的交易，这表示他的产品非常可靠，并且在买家中很受欢迎。”Nunes和同事们说道。

目前，这个系统平均每周搜集305个高质量的网络威胁警告，这吸引了很多商家的目光。实际上，团队透露他们现在正准备把这个系统移交给一个商业合作伙伴。如果这个团队继续搜寻零日漏洞，赶在这些漏洞发展成为恶意程序之前，他们就可以帮助软件开发者及时修复漏洞，这对网络安全专家有很大的帮助。

当然，这也会变成网络安全里“猫鼠游戏”的其中一环。现在黑客们已经知道自己正在被系统性地监视着，不知道他们将如何改变行为方式。 如果这个改变发生了，猫鼠游戏就会进入新的一轮。

Via MIT Technology Review