← Back to Blog
EN中文

爬虫系统中的域名匹配正则优化

在构建大规模爬虫系统时，URL 过滤往往是一个被低估的性能瓶颈。当你每秒需要处理数万个 URL 时，简单地对每个链接运行一遍 Regex::is_match 可能会迅速耗尽 CPU 资源。

特别是在针对特定域名（Host）的规则匹配场景中——比如“只抓取 example.com 下的 /blog/ 目录”或者“忽略所有 .jpg 结尾的链接”——传统的正则匹配策略往往效率低下。

本文将探讨如何在 Rust 中利用 regex crate 的特性（特别是 RegexSet）来构建一个高性能的域名匹配系统。

为什么单个正则匹配不够好？

最直观的实现方式是为每个域名维护一个规则列表：

struct HostRules {
    allow_patterns: Vec<Regex>,
    deny_patterns: Vec<Regex>,
}

impl HostRules {
    fn is_allowed(&self, path: &str) -> bool {
        // 先检查拒绝规则
        for pattern in &self.deny_patterns {
            if pattern.is_match(path) {
                return false;
            }
        }
        // 再检查允许规则
        for pattern in &self.allow_patterns {
            if pattern.is_match(path) {
                return true;
            }
        }
        false
    }
}

这种 $O(N \times M)$ 的复杂度（N 为规则数，M 为路径长度）在规则数量增多时线性退化。如果一个站点有 50 条过滤规则，每个 URL 都要跑 50 次正则引擎，这在规模化抓取中是不可接受的。

优化方案：RegexSet 的力量

Rust 的 regex 库提供了一个极其强大的工具：RegexSet。它允许我们将多个正则表达式编译成一个单一的自动机（Automaton）。这意味着无论你有 10 个规则还是 1000 个规则，扫描一次文本的开销依然是 $O(M)$，与规则数量几乎无关。

设计 HostMatcher

我们可以重新设计数据结构，将同一类规则（Allow/Deny）合并预编译。

use regex::RegexSet;

pub struct HostMatcher {
    allow_set: RegexSet,
    deny_set: RegexSet,
}

impl HostMatcher {
    pub fn new(allow: &[&str], deny: &[&str]) -> Result<Self, regex::Error> {
        Ok(Self {
            allow_set: RegexSet::new(allow)?,
            deny_set: RegexSet::new(deny)?,
        })
    }

    pub fn check(&self, path: &str) -> Action {
        // 优先检查 Deny，因为通常拒绝规则优先级更高且为了安全
        if self.deny_set.is_match(path) {
            return Action::Deny;
        }
        
        if self.allow_set.is_match(path) {
            return Action::Allow;
        }

        Action::Pass // 或者默认拒绝，取决于策略
    }
}

#[derive(Debug, PartialEq)]
pub enum Action {
    Allow,
    Deny,
    Pass,
}

性能对比与考量

使用 RegexSet 的核心优势在于它避免了多次回溯和状态重置。Rust 的 regex 引擎基于有限自动机（Finite Automata），保证了线性时间复杂度，不会出现某些引擎中的“灾难性回溯”（Catastrophic Backtracking）。

在实际测试中，当规则数量超过 5-10 个时，RegexSet 的优势开始显现。对于包含数十条路径规则的复杂站点配置，吞吐量提升通常在数倍以上。

进一步优化：预过滤与 Aho-Corasick

虽然正则很强，但如果规则只是简单的字符串匹配（如前缀或后缀），正则引擎仍然是杀鸡用牛刀。

对于纯文本匹配，AC 自动机（Aho-Corasick 算法）是更好的选择。Rust 的 aho-corasick crate 可以与 regex 配合使用：

  1. 快速路径：先用 AC 自动机检查所有纯文本规则。
  2. 慢速路径：如果未命中，再回退到 RegexSet 处理复杂的模式（如 ^/article/\d{4}/.*）。

结语

在系统设计中，不要盲目信任“标准做法”。循环匹配正则在脚本中可行，但在高并发爬虫中就是性能毒药。利用 Rust 强大的类型系统和高性能库，我们可以用很少的代码实现企业级的匹配效率。

记住：最快的代码是那些根本不需要执行的代码。