安全测试工具的悖论：数量与质量的斗争

关键要点

• 行业内普遍以发现的问题数量来评估安全测试工具的有效性，
• 噪音越大，工具似乎越受欢迎，导致对工具质量产生怀疑。
• 在缺乏明确基准的情况下，找到更多的发现成了首要目标。
• 重复发现问题的出现使得工具在核心领域之外展开，导致结果冗余。
• 需要从关注发现数量转变为关注修复行动，以实现降风险。

在安全测试领域，行业普遍通过工具所产生的噪音来衡量其有效性，进而选择噪音最大的工具。例如，当评估供应商A的工具显示出500个安全相关发现，而供应商B的工具仅显示出50个时，后者的工具质量是否值得信赖？答案显然是不太可能的。

我们为何会陷入这个循环呢？首先，我们无法得知预期的结果。所以一开始，我们并不知道工具需要发现的“目标”数量发现。也许500个发现确实让人感到更“全面”，似乎更合理。在缺乏公认的基准来衡量网络安全测试工具的有效性的情况下，行业默认使用了一项适用于所有情况的测量方式：发现的数量。

其次，我们总是更偏好出现多个误报，而不是一个漏报。害怕遗漏一个关键问题使我们不得不忍受在噪音中筛选信息。

行业内还存在另一个我们自创的问题：重复发现。由于我们奖励安全供应商提供更多发现的工具（这已成为我们所重视的），这些工具现在正在超出其核心专业领域进行扩展，只是为了展示更多的价值。我们正处于一个阶段，不同用例工具之间的发现重叠达到了20%。看看以下示例：

• XDR解决方案： 虽然其最初的意图是预防或检测恶意攻击，但现在它们已经演变为测试漏洞——这并不是当初购买XDR的用例。
• Web应用程序测试工具： 这些工具开始扩展到外部攻击面管理，完全是一个不同的产品类别。
• 云安全态势管理工具： 测试云误配置现已成为扫描云工作负载的任何测试工具的一部分，而不仅仅是安全测试工具。

安全从业者对错失机会的恐惧（）以及测试供应商市场的扩展意味着我们现在正处于一个寻找发现的竞赛中：工具的输出。推动发现更多风险会使我们分散安全团队的最终目标：降低风险，即项目的结果。确实，我们需要发现来降低风险。但当衡量和输出都围绕着发现时，我们就忘记了购买工具的真正理由：修复。

毫无疑问，我们的流程存在问题。好消息是，通过了解驱动我们行为的因素，我们可以作为一个行业对此进行认知，并努力朝着以结果为导向的测量指标前进，专注于修复。鉴于现状——发现数量的不断增加和重复（重叠覆盖），我们别无选择，只能关注解决方案，而不是问题。

我们需要将发现（输出）转变为修复行动（结果）。这意味着要将我们的思维方式从测量发现的问题数量转向测量修复行动和部署的补救措施的数量。通过这种方式，我们可以中和数量和重复的问题，专注于降低风险而不是简单统计风险数量。

这就是我们的愿景。作为一个行业，我们仍然陷入破损的流程中，努力处理来自不同工具的海量发现，其中许多发现可能是重复的。我们必须转变为以结果为导向的方法。

Ravid Circus，Seemplicity 联合创始人兼首席产品官