Satisficing Web Fetcher

• 内存限制：浏览器进程2GB上限，超限自动终止
• 超时控制：单次请求30秒，浏览器会话5分钟
• 域名白名单：仅允许配置域名，默认拒绝所有
• 审计日志：所有请求记录到本地日志文件

4. 内容安全

• 自动过滤敏感内容（身份证、手机号、银行卡）
• PII检测与脱敏
• 响应内容大小限制（最大10MB）

快速开始

基础抓取

from fetcher import HTTPFetcher

fetcher = HTTPFetcher()
result = fetcher.fetch("https://example.com")
print(result.text)

反爬绕过

from fetcher import StealthyFetcher

fetcher = StealthyFetcher(headless=True)
result = fetcher.fetch("https://protected-site.com")
print(result.css("h1::text").get())

自适应解析

from fetcher import AdaptiveParser

parser = AdaptiveParser(result.html)
# 首次抓取，保存元素指纹
products = parser.css(".product", auto_save=True)

# 页面结构变化后，仍能定位
products = parser.css(".product", adaptive=True)

CLI使用

# 基础抓取
python3 cli.py fetch "https://example.com"

# Stealthy模式
python3 cli.py fetch "https://protected-site.com" --mode stealthy

# 使用CSS选择器提取
python3 cli.py fetch "https://example.com" --css "h1::text"

# 查看审计日志
python3 cli.py audit

配置

域名白名单

编辑 security/domain_whitelist.py:

ALLOWED_DOMAINS = [
    "example.com",
    "api.github.com",
    "*.wikipedia.org",
]

安全策略

编辑 security/policy.yaml:

rate_limit: 1  # 每秒最大请求数
max_content_size: 10485760  # 10MB
enable_pii_filter: true
audit_retention_days: 30

安全红线

1. 禁止：抓取登录后才能访问的内容
2. 禁止：抓取个人隐私数据
3. 禁止：高频/大规模抓取（rate limit: 1req/s）
4. 禁止：自动绕过验证码
5. 必须：所有请求记录审计日志
6. 必须：浏览器进程沙箱隔离

架构

satisficing-web-fetcher/
├── fetcher.py              # 主模块
│   ├── HTTPFetcher         # 基础抓取
│   ├── StealthyFetcher     # 反爬绕过
│   └── AdaptiveParser      # 自适应解析
├── sandbox/                # 沙箱隔离
│   ├── browser_controller.py
│   ├── memory_limiter.py
│   └── timeout_guard.py
├── security/               # 安全控制
│   ├── audit_logger.py
│   ├── domain_whitelist.py
│   └── content_filter.py
├── cli.py                  # 命令行工具
└── examples/               # 使用示例

与现有工具对比

依赖安装

# 基础依赖
pip install requests playwright

# 安装浏览器
playwright install chromium

评估报告

详见 ASSESSMENT_REPORT.md - 包含3个Scrapling skill的综合评估、自建决策理由和详细技术对比。