中国软件评测中心 何武红 陈勇
计算机网络的飞速发展，为我们带来了巨大的经济效益和社会效益，但随之而来的网络安全问题也成为困扰用户的一大难题。为了保障网络安全，必须建立一整套安全防护体系，进行多层次、多手段的检测和防护。而IDS（入侵检测系统）正是构建安全防护体系所不可缺少的一环。
一、评测背景
从最初用户对IDS是否具有存在价值的质疑，到如今更多的关注如何最大程度地发挥IDS的作用来保障网络的安全，随着国内用户的成熟，IDS在网络安全市场中正步入一个稳步上升的发展阶段。据CCID的市场统计显示，2004年国内IDS产品全年销售额达3.8亿元，占中国网络安全市场全年市场份额的10.9%，与2003年2.75亿元的市场销售额相比，年增长率高达38.2%。而且预计2005年IDS可以占到安全市场全年总额的11.2%，市场销售额将达到5.5亿元，IDS的市场发展空间巨大。
本次发布的《2003-2004年度中国市场主流IDS产品评测技术报告》所涉及的IDS产品，来源于赛迪评测所实施的用户选型测试、系统验收测试以及厂商送测等多个测试业务，产品包括安氏中国、绿盟科技、McAfee、天融信、福建海峡、方正、冠群金辰、南大苏富特、联想、三零盛安、东软、中科网威等12个品牌的13款百兆和千兆IDS产品。由于在2004年底，赛迪评测根据用户实际应用需求，对IDS的测试新增加了应用层测试项目，年初所测部分产品未对该部分进行数据提取，数据不具有可比性，为此本报告对这部分产品不予提及。另外，由于篇幅所限，本报告只选取了IDS产品的部分测试项目予以刊出，更详细的内容将在《2004年度中国市场主流IDS产品―产品白皮书》中公布。
什么样的IDS能够为用户解决安全问题提供帮助？如何鉴定一款IDS的优劣？赛迪评测力求以一年一度的中国市场主流IDS技术报告的公布，来消除用户的这些疑问，为各级政府及行业用户进行IDS产品选购提供客观真实的产品资料，为用户选型提供帮助与指导。同时也对该年度国内市场上主流IDS产品的技术状况和性能状况作一个总结和回顾。
二、严格全面的测试
入侵检测系统应该属于安全层次中的审计范畴，但随着入侵检测技术和人们认识水平的提高，入侵检测产品在安全层次中所占的地位也就发生了一定程度的变化。除了完成对网络安全的审计功能以外，IDS还具报警、响应、动态防御等功能。
赛迪评测针对2003-2004年IDS的技术现状以及用户的实际应用需求，依据《赛迪评测IDS测试规范》（第二版）缜密制定出此次IDS评测方案。对IDS的测试主要从以下三个方面进行：
功能及易管理性、检测能力及自身安全性，再有IDS在实际网络压力下的性能，这三个方面的内容，在逻辑关系和应用上应该是一个整体，是相互关联、相互联系的，之所以将其分开，是因为从这三个方面入手能够比较详细的考察一款IDS产品，也便于对多台IDS进行横向比较。赛迪评测利用先进的专业测试设备，由经验丰富的专业测试人员经过严格、规范的测试，确保了测试数据的客观和公正。
1、具有完善的功能和易管理性，才能方便用户的使用（功能及易管理性测试结果）
对于网络安全产品，管理是否方便、直接是相当重要的。这是由于网络安全管理员对安全产品的管理能力直接影响到网络的安全，因为IDS的重要作用是要管理员查看报警信息的输出，然后根据报警信息判断网络受到的危险程度，以便做出相应的安全策略，将损失降低到最小。我们不能要求每个管理员都具备很专业的安全知识，加之网络安全所涉及的内容广博，攻击类型多样，数量繁多，且变化非常快。因此，如何有效利用IDS，产品的易管理性至关重要。
在IDS管理方面，是否提供有效的报警通知、实时的检测信息以及是否能够通过与其它安全产品互动，这些都是赛迪评测考察IDS功能完善性和易管理性的重要依据。除此之外，产品是否具有良好的审计界面、能否生成详细的审计资料供安全管理员使用，对网络流量的分析是否能够达到足够的抽样比例、是否能根据不同的用户群生成不同的报表以及IDS规则在线升级是否快捷有效等方面，也都是衡量一款IDS产品管理功能是否完善的重要指标。
a、百兆IDS产品
百兆IDS产品中，东软Net Eye IDS 2100界面友好，具备强大的网络信息审计功能，可对网络的运行及使用情况进行全面的监控、记录、审计和重放，它包含了HTTP、FTP、TELNET、SMTP、NNTP、POP3、DNS等协议，使用户对网络的运行状况一目了然。南大苏富特Soft NIDS 200则采用分布式体系结构，基于安全操作系统Soft OS，集成了网络监测监控、实时协议分析、入侵行为分析及详细日志审计跟踪等功能。三零盛安的鹰眼NIDS采用B/S结构，用户可以通过IE浏览器对IDS进行远程管理、审计和查询所有的报告内容，便于管理。这几款产品在功能方面各具特色，能够较好地满足用户使用需求。
b、千兆IDS产品
千兆IDS产品中福建海峡黑盾1000e入侵检测系统采用模块化功能设置，可根据用户的不同需求自由选择，按需定制也是IDS发展的一个方向。另外它还提供了详细的报警信息过滤、页面重组等功能。除此之外，在报警信息列表中可直接修改规则也是它的一个特色功能。
安氏LinkTrust ND-GigaHA能够提供4种报表输出格式和三大类83种报表固定模板，同时用户也可根据不同需求进行自定义设置。这款产品支持事件归并，而且提供详细的事件帮助及分析功能。
绿盟科技的冰之眼NIDS 3.5版提供实时流量分析功能，它对事件风暴可自动进行有效的合并处理，便于管理员对报警信息的查询。冰之眼NIDS 3.5 版可准确检测出攻击行为的状态是继续还是已经停止，并且提供对报警事件的详细分析以及具体的解决方案。
天融信NGIDS-UF提供全中文的超级终端配置界面，使用非常方便，同时它的引擎监控功能能够实时且真实的反映引擎的工作状态，提供详细的流量统计功能，甚至还包括了众多厂商谈之色变的对丢包数的统计。事实上丢包统计对于用户来说是有必要的，它反映给用户的是真实的情况，虽然我们测试的IDS都能在不同程度上满足用户的需求，但还没有一款产品能够在任何情况下保证不丢包。所以说丢包统计是一种对用户负责的表现。
2、完整的检测能力和自身安全性是IDS的核心 (检测能力及自身安全性测试结果)
IDS的主要作用是对非正常网络行为或事件进行检测，特别是对入侵行为的检测。因此，具有完整的检测能力对IDS产品来讲是至关重要的，即使IDS产品具有强大的管理能力，如果没有完整的检测能力，IDS产品对用户的作用将会大打折扣。IDS产品的检测能力应该从哪些方面来衡量呢？赛迪评测认为，衡量IDS的检测能力应从以下几个方面着手：对常见的入侵行为方式（如：网络扫描、拒绝服务攻击、后门木马、缓冲区溢出、蠕虫、非授权访问等）的检测能力、对变形攻击的检测能力、对碎片重组的检测能力、对未发现漏洞特征的预报警能力、对自定义特征的检测能力。
IDS产品的自身安全性也是衡量产品优劣的重要指标之一。自身安全性包含两个方面：一方面要考察IDS是否能够保持足够的健壮特性，使得在发生高强度的攻击行为并在短时间内产生超大容量的报警信息时IDS依然能够正常工作，同时保证在网络流量比较大时IDS内部各个模块之间通信的正常。另一方面，引擎和管理端之间通信通常不会作为一个单独的网络而划分出来，大多数是将控制台放在内部网中进行管理的。因此，如果引擎和控制台之间的通信没有进行加密处理，那么它们之间的通信就有可能被篡改，甚至可能攻击引擎的管理接口，使得它们之间的通信不能通畅。这样造成的后果将是严重的。因此，自身安全性对于IDS同样非常重要。
为了更好地测试IDS产品地检测能力，本次测试主要选用了思博伦通信公司的Smart Bits 6000B的Websuite2.6测试组件和网络中常用的攻击工具，测试共采用攻击手段50种。
为了力求测试结果客观公平，我们要求各款产品在检测能力测试和性能测试中使用相同的规则库，即默认规则库。在测试方法上主要采用模拟攻击和真实攻击两种方式。模拟攻击采用Smart Bits 6000B测试仪模拟实际攻击，流量通过交换机，IDS从交换机的镜像端口监听数据。真实攻击由攻击主机使用攻击软件通过交换机攻击被攻击主机，并且保证攻击成功，IDS从交换机的镜像端口监听数据。根据各款产品的报警结果来判断其对攻击事件的检测能力。其中使用Smart Bits 6000B模拟的17种攻击主要包括拒绝服务攻击和扫描：Syn-Flood、Udp-Flood、Ping-Flood、Land-based-Attack、Smurf Attack、Ping Of Death、Teardrop Attack、Ping Sweep、UDP Scan、TCP Syn Scan、Jolt2 Attack、ARP Attack、TCP Ack Scan、TCP Syn-Ack Scan、TCP Fin Scan、TCP Tree Scan以及TCP Reset Scan。
真实攻击是采用网络中常用的攻击工具来真正实现攻击的过程，此次共选用了六大类33种攻击工具：其中网络扫描类3种、非授权访问类3种、后门木马类6种、蠕虫类3种、变形逃避类17种，其它类1种。
a、百兆IDS产品
本次测试中，东软Net Eye IDS 2100、南大苏富特Soft NIDS 200、三零盛安的鹰眼NIDS三款百兆IDS在检测率方面均表现良好。在测试的50种攻击中都只有1种攻击未能检测到，检测率均高达到98％。
b、千兆IDS产品
通过测试，各款产品的检测能力均令人满意，安氏LinkTrust ND-GigaHA可以对数据包进行深度检测，并使检测能力达到98％，50种攻击的测试中仅有一种攻击未能检测到。天融信NGIDS-UF的检测能力达到98％，福建海峡黑盾1000e入侵检测系统的检测能力达到92％。
本次测试的所有百兆和千兆产品都采用了双网卡技术，在引擎和控制台、各模块之间的通信都进行了加密认证，具有较好的安全性。健壮性测试是在高压下snot攻击和长时间snot攻击两种情况下看被测产品能否正常工作。测试表明，被测产品均有较好的自身安全性。
3、实际网络压力下的性能是衡量IDS产品优劣的重要指标 (性能测试结果)
网络产品的性能一直是厂商和用户十分关心的问题。虽然IDS产品在网络拓扑结构中处于旁路状态，不会影响整个网络的正常通信，但IDS作为检测系统，负责对检测网段的所有数据包进行捕获并进行检测分析，因此，IDS产品的性能如何将直接决定该产品在较高的实际网络压力下能否正常工作。它反映出的是IDS每秒所能捕获数据包并进行检测处理的最大能力以及捕获数据包的稳定程度。
本次IDS性能测试，我们在总结以前的测试经验的基础上，充分利用自身优势，采用了网络层和应用层两种测试方法。之所以这样，主要是为了全面反映出IDS产品在不同情况下的性能表现。网络层的测试，只是用发送数据包的方式来构成背景流量，它不是基于连接的，主要目的是考察IDS产品在不同背景流量压力下的数据包捕获能力和分析检测能力。它所表现的是产品在理论上的性能极限。应用层测试主要根据用户实际使用网络情况，使用HTTP和FTP两种协议，以每秒请求连接的方式（统一使用10K大小的文件）构成背景流量，它是基于连接的，真实的，更贴近用户的实际使用情况，主要目的是考察IDS产品在实际网络环境中的性能，这是测试方法的一种创新，也是本年度赛迪评测在IDS测试中与往年的区别之一。
3.1、网络层性能测试
在对IDS产品进行网络层性能测试时采用了国际上公认的典型长度的数据帧。根据互联网上不同应用中数据帧的统计，若将数据帧的类型分为12份，那么64Byte帧占7份，594Byte帧占4份，1518Byte帧占1份。因此对IDS进行基于网络层的性能测试时，背景流量分别测试了各产品在包长为64字节、594字节、1518字节的UDP背景流，以及包长为76字节（Smart Flow要求TCP包的最小长度为76字节）、594字节、1518字节TCP背景流。而前景则采用了unicode或其它攻击手段对目标主机进行成功攻击。
a、百兆IDS产品
在64字节UDP包和76字节TCP包99％带宽（99Mbps流量）背景压力下，东软Net Eye IDS 2100、南大苏富特Soft NIDS 200和三零盛安的鹰眼NIDS的检测能力均达到100％，数据包的捕获和检测能力超过147322个/秒，三款百兆IDS性能表现均非常优异。
b、千兆IDS产品
从四款千兆IDS的测试结果来看，各产品在网络层性能方面有所差异。在UDP背景压力测试中，我们分别测试了各款产品在不同包长度和不同流量下的性能情况。当背景数据采用64字节数据包时，4款产品在250Mbps背景压力下检测率全部能够达到100％；到50％带宽背景压力时，绿盟科技冰之眼3.5版和安氏LinkTrust ND-GigaHA的检测率能够达到100％；到75％带宽（750Mbps）和99％带宽（990Mbps）背景压力时，都只有绿盟科技冰之眼3.5版可以保持100％的检测率。
当背景数据采用594字节数据包时，4款千兆IDS产品在250Mbps背景压力下全部可以达到100％检测率，当背景压力达到50％带宽（500Mbps）时安氏LinkTrust ND-GigaHA、绿盟科技冰之眼3.5版以及天融信NGIDS-UF等3款产品检测率可保持100％，在75％带宽（750Mbps）和99％带宽（990Mbps）背景压力下都只有2款产品达到100％。当背景数据采用1518字节数据包，背景压力达99％带宽（990Mbps）时，安氏LinkTrust ND-GigaHA Trust GIGA-HA、福建海峡黑盾1000e、绿盟科技冰之眼3.5版等3款产品的检测率可以达到100％。
在TCP背景压力测试中，采用76字节背景数据包时，安氏LinkTrust ND-GigaHA、福建海峡黑盾1000e、绿盟科技冰之眼3.5版、天融信NGIDS-UF等4款IDS产品在25％带宽（250Mbps）背景压力下检测率能够达到100％；当背景压力达到50％带宽（500Mbps）时，安氏LinkTrust ND-GigaHA、绿盟科技冰之眼3.5版、天融信NGIDS-UF等3款产品的检测率能够达到100％；当背景压力达到75％（750Mbps）和99%（990Mbps）带宽时，绿盟科技冰之眼3.5版依然可以保持100％的入侵检测率。
在594字节数据包测试中，4款千兆产品在25％带宽（250Mbps）下全部达到100％检测率，在50％（500Mbps）和75％（750Mbps）及99％背景压力下，安氏LinkTrust ND-GigaHA、绿盟科技冰之眼3.5版、天融信NGIDS-UF等3款产品的检测率可以保持100％的入侵检测率。另外，当背景数据采用1518字节数据包时，即使背景压力达到99%带宽，4款千兆IDS产品的检测率均可达到100％。
3.2、应用层性能测试
在对IDS进行基于应用层的性能测试时，赛迪评测采用了先进的可模拟完全用户/浏览器行为的测试仪器Avalanche 2500、Reflector2500及其最新版本Avalanche Commander 6.24软件作为测试平台，在发送预定的稳定背景流量的同时，检验IDS对攻击包的捕获和检测能力，以测试其网络性能的优劣。
对IDS进行基于应用层的性能测试中，背景数据统一采用大小为10K的文件。在百兆IDS测试中，分别仿真HTTP应用生成25Mbps、50Mbps、75Mbps、99Mbps背景流量，来测试IDS的入侵检测能力。另外，仿真HTTP和FTP每秒新建300、500、800、1000个连接。在千兆环境下，分别仿真HTTP应用生成250Mbps、500Mbps、750Mbps、990Mbps背景流量，测试IDS在相应背景压力下的入侵检测能力。并仿真HTTP和FTP每秒新建3000、5000、8000、10000个连接，测试该应用环境下各产品的入侵检测率。
a、百兆IDS产品
在背景压力采用HTTP应用时，75％带宽（75Mbps）压力下，东软Net Eye IDS 2100和南大苏富特Soft NIDS 200的检测能力达到100％、三零盛安的鹰眼NIDS的检测能力达到97.92％，在99％带宽（99Mbps）压力下，东软Net Eye IDS 2100的检测能力达到83.33％、三零盛安的鹰眼NIDS的检测能力达到82.81％、南大苏富特Soft NIDS 200的检测能力达到75％。
在HTTP每秒新建连接测试中，每秒新建1000个连接时，东软Net Eye IDS 2100和南大苏富特Soft NIDS 200的检测能力达到100％、三零盛安的鹰眼NIDS的检测能力达到94.79％；
当基于FTP应用每秒新建800个连接时，南大苏富特Soft NIDS 200和东软Net Eye IDS 2100的检测能力达到100％、三零盛安的鹰眼NIDS的检测能力达到87.50％，在FTP每秒新建1000个连接时，南大苏富特Soft NIDS 200的检测能力达到100％、三零盛安的鹰眼NIDS的检测能力达到87.50％、东软Net Eye IDS 2100的检测能力达到85.8％。
b、千兆IDS产品
在HTTP背景压力测试中，75％带宽（750Mbps）压力下绿盟科技冰之眼入侵检测系统3.5版和安氏LinkTrust ND-GigaHA的检测能力达到100％；在FTP每秒新建10000个连接时，福建海峡黑盾1000e、天融信NGIDS-UF、安氏LinkTrust ND-GigaHA和绿盟科技冰之眼入侵检测系统3.5版的检测能力达到100％。在基于HTTP应用每秒新建连接测试中，每秒新建8000个连接时绿盟科技冰之眼入侵检测系统3.5版和安氏LinkTrust ND-GigaHA的检测能力达到100％，在每秒新建10000个连接时绿盟科技冰之眼入侵检测系统3.5版依然可以完全检测；
在HTTP流量背景下，各千兆IDS产品保持100％检测能力的最大背景压力也有较大差异，绿盟科技冰之眼3.5版达到928兆、安氏LinkTrust ND-GigaHA达到821兆、天融信NGIDS-UF达到640兆。
三、结论
综合2003-2004年度国内主流IDS产品的现状以及往年所测产品的情况，赛迪评测认为：
1、IDS产品在性能方面取得了突破性进展。
2002-2003年度百兆IDS在64字节100％压力下平均检测能力仅有40.2％，而2003-2004年度我们所测试的百兆IDS有3款已达到100%，这标志着百兆IDS产品在性能方面已经趋于成熟。而千兆IDS产品的性能也有了长足的发展，捕获数据包的能力每秒67万～85万，最高可达140多万。对大流量网络的适应能力明显增强。
2、IDS产品的检测能力逐步趋于成熟。
由于厂商对IDS产品的设计思路不同，IDS产品的检测能力存在一定差异。本次测试的13款产品，有8款产品的检测能力达到90％以上，其中的5款产品检测能力更高达98％。
3、IDS产品功能有向多样化、模块化发展的趋势。
早在2002年，部分IDS产品就具备了网络流量分析、页面重组、内容恢复、事件回放等功能，经过几年的发展，如今的IDS产品不仅功能更为完善多样，各产品的特色功能更为突出，而且功能的模块化也更有利于用户根据实际需要进行定制和应用。
2003-2004 年度中国市场主流IDS产品获奖结果
 |
