硬件测试
 
2003~2004年度中国市场主流防火墙产品技术报告
赛迪评测硬件与网络测试中心 何军 陈勇
 

随着 Internet的迅速普及,全球范围内的计算机网络病毒、操作系统漏洞、垃圾邮件等网络安全问题也是层出不穷,网络安全产品和解决方案越来越成为各类网络用户和厂商们的聚焦点,在众多的安全产品中,防火墙产品无疑是保障网络安全的第一道防线。根据CCID统计显示,在2003年中国网络安全产品市场中防火墙占据了41.1%的市场份额,防病毒产品占29.6%,IDS产品占11.7%,仍然排在前三名,特别是防火墙产品的市场份额一直居高不下,并将在今后的几年当中仍将保持较高的增长速度。

2003年中国网络安全市场产品结构


在2003~2004年度的防火墙产品和技术中,将包过滤技术和多种应用技术融合到一起构成复合型防火墙是目前国内防火墙产品的一个特点,也是防火墙今后发展的主流技术,作为一种技术,该类产品在今后许多年还会得到更为完善的发展。

在防火墙的发展过程中,现有的 x86普通工控机架构仍然占据了国内大部分的百兆防火墙市场,其主要原因是技术成熟、成本相对较低,至强服务器架构的防火墙由于其本身硬件具有较高的性能,因此已经被众多的厂商用作千兆防火墙的平台。而NP架构一直被业界认为是防火墙架构的最佳选择,从2003年使用的Intel 1200到现在主流的Intel 2800(当然Intel 1200现在已经停产),虽然性能是提高了不少,但其仍然是采用了国外技术,因此采用这种架构只能使用于电信、银行、企业等非政府、军队行业,这从一定程度上对其产品的销售有一些冲击,当然,对于产品的多元化来看无疑是也是一条生路。至于其他防火墙技术,如分布式防火墙虽然在未来有发展的迹象,但未形成成熟的产品,在本次公布的产品中尚未出现。

对于防火墙产品的发展趋势,以用户为导向,产品向高性能、多端口、高细粒度控制是防火墙未来发展的主要方向。一方面,在用户对高性能需求的驱使下,百兆防火墙的性能将会得到进一步的提高;另一方面,千兆流量的防火墙已经得到较快发展,它已成为高端市场防火墙产品竞争的焦点。在多种技术融合的基础上,若在防火墙系统中添加网络硬件加速器,将能有效提高其处理能力;而多端口的防火墙能为用户提供更好的安全解决方案,这种多端口技术也是防火墙技术发展的主要方向;当然高细粒度的控制无疑能够增加防火墙访问控制的作用。

本次发布的 2003 ~ 2004年度中国市场主流防火墙产品技术报告,是赛迪评测以各类用户选型和厂商送测的防火墙产品为对象,其中包括百兆防火墙:安氏、方正、南大苏富特、华为、清华得实、龙马卫士、清华紫光、亿阳、阿姆瑞特、Watchguard、西安交大捷普共11款。千兆防火墙:方正、华为、南大苏富特、海信、清华紫光、西安交大捷普共6款(部分厂商在报告正式公布前要求退出,在此不予提及)。并利用先进的专业设备,由经验丰富的专业测试人员通过严格、规范的测试,得到详实可靠的测试数据。赛迪评测力求通过一年一度的中国市场主流防火墙产品技术报告的发布,为各级政府及行业用户进行防火墙产品选购,提供客观真实的产品资料,为用户选型提供帮助与指导。

一、测试情况说明

赛迪评测通过 各类用户选型和厂商送测, 汇集 2003~2004年度中国市场主流防火墙产品,分别在功能、管理、性能以及安全性方面进行了测试,并对测试情况进行下列说明。

1、管理及功能测试


图一 管理及功能测试环境示意图

本次管理和功能测试仍然是按照赛迪评测《防火墙测试规范》第二版的测试内容执行的,但管理和功能测试的可量化性比较差,很大程度上存在个人喜好、习惯的问题,同时也由于防火墙产品功能和管理发展的程度已经走向了成熟,因此,本次评测在管理和功能上所占的比重较小,管理只是从是否提供了方便用户使用的管理界面来入手,功能只是能够实现那些功能等,没有从非常详细的功能点上来验证测试。

2、安全性测试

对于安全性测试,为了能够对防火墙产品在抗 DoS能力上有一个比较好的量化,因此本次测试采用了Smartbits 6000B的Websuite2.6测试组件,该组件能够对Syn flood、Smurf attack、Ping of death、Teardrop attack、Land-based attack、Ping sweep、Ping flood、udp flood、tcp扫描、arp攻击以及jolt2攻击等进行抵抗测试。在测试方法上,利用SmartBits模拟实际攻击流量通过内网口向防火墙发送上述类型的数据包,检测外网口收到的数据,以此来判断防火墙是否可以挡住DoS攻击。

为了使得模拟攻击更接近于实际,我们在选择攻击流量时分别选择了 10%和20%的攻击压力,因为100%的流量压力攻击在实际网络中并不存在。同时,在一些攻击量选择上我们也选择了只发送固定数量的攻击数据包,以确定实际能穿透防火墙的个数。总体来说,对防火墙抵抗攻击测试上,选择不同负载测试抗攻击能力能从一定程度上能够检测出防火墙的安全性。


图二 抗 DoS攻击 测试环境示意图

syn flood 攻击的测试原理是向防火墙发送大量伪装连接的请求包,这些请求包的发起地址设置为目标不可到达的地址,这样对被攻击对象的第二次握手没有主机响应,造成被攻击对象主机内部存在大量的半开连接,以至于新的正常连接不能进入从而造成服务的停顿甚至死机。

ping of death 攻击: 向被攻击主机发送大量的碎片包,使这些碎片组装起来后构成一个超出最大限制的 ping 请求包从而造成被攻击主机的缓冲区溢出。

land 攻击是向防火墙发送源地址和目标地址相同的 tcp 数据包,利用Smartbits 的攻击包发生器产生该攻击流量从外部网攻击防火墙,考察系统的运行情况是否正常。

Tear Drop 攻击是利用了 IP 数据片断重组上的弱点。IP 数据包在Internet 上传递时,数据包可以分成更小的片断。每个片断看起来都象原来的IP 数据包,不同之处在于,每个片断里都包含一个偏移字段。Teardrop 程序可以生成一系列IP片断,这些IP 片断的偏移字段彼此重叠。当这些IP 片断到达目标主机,进行重组的时候,某些系统就会崩溃、挂起或重启动。

ping flood 攻击是该攻击在短时间内向目的主机发送大量 ping包,造成网络堵塞或主机资源耗尽。

Smurf 攻击是一种强力攻击,针对的是 IP标准的一个功能-叫做直接广播寻址。Smurf攻击向路由器发送大量的ICMP(Internet控制信息协议) echo请求数据包(大量的ping)。因为每个包的目标IP地址都是网络的广播地址,所以路由器会把ICMP echo请求以广播形式发给网络上的所有主机。如果有大量主机,那么这种广播就会造成巨大的ICMP echo请求及响应流量。所以它比ping of deaih的流量高出一或两个数量级。如果在发送ICMP echo请求数据包时,使用了假冒的源IP地址,那么攻击造成的ICMP流量不仅会阻塞网络从而产生该攻击流量。

udp flood 攻击是采用发送 udp 包的工具从外部网攻击防火墙,考察系统的运行情况是否正常。

jolt2 攻击

jolt2攻击是在一个死循环中不停的发送一个ICMP/UDP 的IP 碎片,可以使Windows 系统的机器死锁。jolt2的影响相当大,通过不停的发送这个偏移量很大的数据包,不仅死锁未打补丁的Windows 系统,同时也大大增加了网络流量。

arp请求/响应攻击

ARP请求攻击是某机器A要向主机B发送报文,会查询本地的ARP缓存表,找到B的IP地址对应的MAC地址后就会进行数据传输。如果未找到,则广播A一个ARP请求报文,arp请求攻击就是发送这样大量的arp请求报文的攻击。

Arp响应攻击是ARP协议并不只在发送了ARP请求才接收ARP应答。当计算机接收到ARP应答数据包的时候,就会对本地的ARP缓存进行更新,将应答中的IP和MAC地址存储在ARP缓存中。因此,当局域网中的某台机器B向A发送一个自己伪造的ARP应答,而如果这个应答是B冒充C伪造来的,即IP地址为C的IP,而MAC地址是伪造的,则当A接收到B伪造的ARP应答后,就会更新本地的ARP缓存,这样在A看来C的IP地址没有变,而它的MAC地址已经不是原来那个了。由于局域网的网络流通不是根据IP地址进行,而是按照MAC地址进行传输。所以,那个伪造出来的MAC地址在A上被改变成一个本不存在的MAC地址,这样就会造成网络不通,从而形成ARP响应攻击。

Tcp扫描攻击

TCP SYN scan:这种技术也叫half-open scanning,因为它没有完成一个完整的TCP连接。这种方法向目标端口发送一个SYN分组(packet),如果目标端口返回SYN/ACK,那么可以肯定该端口处于检听状态;否则,返回的是RST/ACK。

TCP FIN scan:这种方法向目标端口发送一个FIN分组。按RFC793的规定,对于所有关闭的端口,目标系统应该返回RST标志。这种方法通常用在基于UNIX的TCP/IP堆栈。

TCP Xmas Tree scan:这种方法向目标端口发送一个含有FIN, URG,和PUSH标志的分组。根据RFC793,对于所有关闭的端口,目标系统应该返回RST标志。

TCP Null scan:这种方法向目标端口发送一个不包含任何标志的分组。根据RFC793,对于所有关闭的端口,目标系统应该返回RST标志。

3、性能测试

性能在防火墙的实际应用中占有非常重要的位置,例如电子政务中视频会议的应用,各大媒体报社及广告业务量比较大的单位或公司,电信行业以及电力等能源行业、国家比较大的研究院等都对防火墙的性能有着很高的要求。

在防火墙的实际应用中,对于大多数中小企业来说,可能防火墙的出口带宽也只有 2M,因此,对于目前防火墙产品来讲可能不会成为网络的瓶颈,而对于许多防火墙的应用,同时还肩负了内部互联网的各种实际应用,因此对防火墙性能无论厂商还是实际用户都应该有一个比较理性的认识。

本次对防火墙性能的测试,我们采取了在 IP层进行性能测试的方法,从实际应用角度来讲,更切近用户的实际应用。在性能测试的内容设置上,我们进行了吞吐量测试,丢包率、平均延迟、有效通过率、每秒最大建立连接数、可以保持的最大连接数的测试,赛迪评测认为,从这些指标上,能够比较客观的评价出防火墙的产品性能。


图三 性能测试环境示意图

在性能测试中,我们使用 SmartBits 6000B的smartflow测试组件,采用RFC建议进行测试。测试采用双向数据流、整个测试时长为120秒,并设置多流的情况进行吞吐率测试。多流设置为双向-100流-UDP(即内、外网的地址共200个且互不相同),源和目标地址都同时变化,即在防火墙的状态表内会存在200个状态连接。对于有效通过率、每秒最大建立连接数、可以保持的最大连接数的测试,仍然采用websuite2.6进行测试。

二、测试结果及分析

1、安全性测试结果分析

按照安全性测试的方法,为了保证我们对被测防火墙测试结果的准确性,在对每一个攻击行为测试结束后,分别对 UDP协议的吞吐量、TCP/HTTP的并发连接数等都进行了测试,以验证被测试设备不会是由于防火墙阻断一个攻击而引起阻断所有连接,使得下一个攻击实际是在防火墙阻断下进行的。因此,本攻击测试的结果是有效的。

从测试的结果来, 方正方御 FG6340、安氏LinkTrust CyberWall -206、南大苏富特softwall 4000、 Watchguard Firebox 1000防火墙 在整个攻击测试中表现突出,全部阻断了上述攻击。华为 Quidway Eudemon 500、清华得实NetST2300 在安全设计上都采用了攻击防范设置,特别是华为采用“发现攻击后自动启用代理”的方式,有效阻断了如 synflood等攻击,测试结果表明,这种技术在攻击防范上是值得推广的。另外,亿阳网警BOCO.SFW-3000防火墙、清华紫光UF3500防火墙、阿姆瑞特AS-F300防火墙等防火墙在测试过程中也有不同程度的表现,测试结果也是令人满意的。

2、性能测试结果
   百兆防火墙测试对比结果

吞吐量测试比较图


从以上结果来看, 方正方御 FG6340 、 安氏 LinkTrust CyberWall -206 、南大苏富特 softwall 4000、 华为 Quidway Eudemon 500 性能表现异常出色,清华得实 NetST2300有效通过率达到92.6M且每秒请求数达到4万以上,龙马卫士也在性能上有突出的表现。

在丢包率、延迟等方面的测试,我们采用了目前国际上比较公认的不同数据包组合,根据互联网上不同应用中数据帧的统计,若将数据帧类型分为 12份,那么64Byte占7份,1518Byte占1份,594Byte的占4份。虽然各种流媒体的数据帧都集中在1280byte和1518byte的区间内,但通过长时间的http、ftp以及邮件收发的混合应用,赛迪评测从实际应用的数据帧统计分析,上述12份数据帧的分配是十分客观和科学的。因此,在测试中,封装了这种混合数据包,希望测试能够更切近用户的实际应用,以增加测试的针对性。按7:4:1的分配原则,总共添加720对流(双向1440个),64Byte有420对,594Byte240对,1518Byte60对,采用源、目标地址都变的方式进行测试。

延迟测试:

延迟测试是在不丢包的情况下转发数据的所需要的时间。因此延迟越小越好。

图六 20%流量下各款产品平均延迟比较图



在延迟测试方面, 安氏 LinkTrust CyberWall -206 防火墙仅仅只有 16微秒, 华为 Quidway Eudemon 500 、 方正方御 FG6340 、 南大苏富特 softwall 4000 也具有很低的数据延迟,这表明,这些产品非常适合于使用到应用流媒体的环境中,因为视频、语音等应用对延迟要求较高。

丢包率测试:

丢包率主要测试的是在连续负载的情况下,防火墙设备由于资源不足应转发但却未转发的帧百分比。

各款产品在不同数量流量下的丢包率比较表

数据量

方正

安氏

苏富特

华为

清华

得实

清华

紫光

阿姆

瑞特

亿阳网警

Watchguard

10%

0

0

0

0

0

0

0

0

0

20%

0

0

0

0

0

0

0

0

0

30%

0

0

0

0

0

0

0

0

0

40%

0

0

0

0

0

0

0

0

29.1%

50%

0

0

0

0

0

0

0

0

49.09%

60%

0

0

0

0

0

0

0

0

63.63%

70%

0

0

0

0

0

0

0

0

72.15%

80%

0

0

0

0

17.12%

0

0.9%

0

74.64%

90%

0

0

0

0

25.23%

0.035%

19.58%

0.006%

79.04%

100%

0

0

0

0

33.09%

3.08%

36.16%

23.14%

82.49%

千兆防火墙测试对比结果



结果分析

从整个测试结果来看,方正方御 FG8000-NP、华为Quidway Eudemon 1000在千兆防火墙性能测试中表现优异,苏富特softwall 8000千兆防火墙和清华紫光UF3500防火墙千兆防火墙也有不错的表现。

在产品硬件设计上,华为千兆防火墙设计非常出色,而且功能完善。方正方御在功能上,具备内容过滤 (如HTTP、FTP、SMTP、POP3)、应用代理功能。

方御 FG8000-NP除了强劲的性能、方便人性化的管理、完善的功能给人留下深刻印象的同时,再一次验证了网络同安全的融合、深层过滤逐渐向硬件实现转移的趋势,这款产品的面世代表着硬件防火墙产品的成熟。

苏富特 softwall 8000千兆防火墙管理容易、访问控制细粒度较高,在整个测试过程中系统表现稳定,在通用架构的防火墙中其性能和安全性表现不错。

海信 FW3010 - 5000 千兆防火墙配置简洁、性能优异。

三、产品点评与获奖情况

关于我们 诚聘英才 信息反馈 联系我们
地址:北京市海淀区紫竹院路66号赛迪大厦13层 邮编:100044