闲鱼数据抓取技能。使用 Playwright + OCR 技术突破反爬虫，抓取闲鱼商品数据（标题、价格、想要人数等），自动上传截图和数据到 Gitee 仓库。支持批量关键词搜索、竞品分析、市场调研。
使用 Playwright + OCR 技术突破闲鱼反爬虫，抓取商品数据并自动上传到 Gitee 仓库。
核心能力:
当用户提到以下场景时，激活此技能：
创建 ~/.openclaw/workspace/.xianyu-grabber-config.json:
{
"gitee": {
"token": "your_gitee_token",
"owner": "your_username",
"repo": "xianyu-data"
},
"xianyu": {
"cookie": "your_xianyu_cookie"
},
"grabber": {
"keywords": ["Magisk", "KernelSU", "手机维修"],
"screenshotDir": "legion/screenshots",
"dataDir": "legion/data",
"uploadToGitee": true,
"ocrLanguage": "chi_sim+eng"
}
}
获取方式：
projects 权限）获取方式：
# 抓取单个关键词
xianyu-data-grabber search "Magisk"
# 抓取多个关键词
xianyu-data-grabber search "Magisk" "KernelSU" "root"
# 使用配置文件中的关键词列表
xianyu-data-grabber search --config
# 指定输出目录
xianyu-data-grabber search "Magisk" --output ./my-research
# 不上传 Gitee
xianyu-data-grabber search "Magisk" --no-upload
# 仅 OCR 不抓取（已有截图）
xianyu-data-grabber ocr --input ./screenshots
# 生成汇总报告
xianyu-data-grabber report --input ./data
# 上传到 Gitee
xianyu-data-grabber upload --all
帮我抓取闲鱼上"Magisk"相关的商品数据
调研闲鱼手机维修类目的竞品
分析闲鱼 root 服务的定价策略
legion/screenshots/xianyu-{keyword}.png| 文件 | 格式 | 内容 |
|---|---|---|
xianyu-{keyword}.json | JSON | 单个关键词原始数据 |
xianyu-full-data.json | JSON | 所有关键词汇总 |
xianyu-summary.md | Markdown | 汇总报告 |
xianyu-analysis.md | Markdown | 深度分析报告 |
xianyu-data/
├── README.md # 自动生成的说明
├── data/
│ ├── xianyu-full-data.json
│ └── xianyu-{keyword}.json
├── screenshots/
│ └── xianyu-{keyword}.png
├── reports/
│ ├── xianyu-summary.md
│ └── xianyu-analysis.md
└── upload-{timestamp}.md # 上传记录
// 1. 启动 Playwright 浏览器（Headless + 伪装）
// 2. 加载 Cookie（如有）
// 3. 遍历关键词搜索
// 4. 截图保存
// 5. 调用 OCR 识别
// 6. 提取商品信息
// 7. 保存 JSON 数据
# 1. 读取截图
# 2. Tesseract OCR 识别
# 3. 提取价格/想要人数等
# 4. 输出结构化数据
# 1. 调用 Gitee API
# 2. 创建/更新文件
# 3. 提交 commit
# 4. 返回上传结果
{
"keyword": "Magisk",
"products": [
{
"title": "Magisk 模块合集 17G 资源",
"price": "1.00",
"wants": "628 人想要",
"seller": "卖家信用优秀",
"tags": ["24h 自动发货", "包邮"]
}
],
"timestamp": "2026-03-20T06:00:00+08:00",
"screenshot": "screenshots/xianyu-Magisk.png"
}
# 闲鱼数据调研报告
## 关键词：Magisk
- 商品数：19 个
- 价格区间：¥1-50 元
- 热门商品：...
## 关键词：KernelSU
...
## 价格分析
...
## 竞品分析
...
| 日志 | 文件 |
|---|---|
| 抓取日志 | logs/xianyu-grabber.log |
| OCR 日志 | logs/xianyu-ocr.log |
| 上传日志 | logs/xianyu-upload.log |
| 错误日志 | logs/xianyu-error.log |
原因: 反爬虫检测到自动化
解决:
# 1. 更新 Cookie
# 2. 降低抓取速度（增加延迟）
# 3. 减少并发关键词数量
原因: Tesseract 未安装或语言包缺失
解决:
# 安装 Tesseract
apt-get install tesseract-ocr tesseract-ocr-chi-sim
# 验证安装
tesseract --version
tesseract --list-langs
原因: Token 无效或权限不足
解决:
# 1. 检查 Token 是否有效
curl -H "Authorization: Bearer YOUR_TOKEN" https://gitee.com/api/v5/user
# 2. 检查仓库权限
# 确保 Token 有 projects 权限
原因: 缺少依赖或浏览器未安装
解决:
# 安装 Playwright 浏览器
npx playwright install chromium
# 安装系统依赖
apt-get install libnss3 libnspr4 libatk1.0-0 \
libatk-bridge2.0-0 libcups2 libdrm2 libxkbcommon0 \
libxcomposite1 libxdamage1 libxfixes3 libxrandr2 \
libgbm1 libasound2 libpango-1.0-0 libcairo2
# 测试配置
xianyu-data-grabber test-config
# 测试 OCR
xianyu-data-grabber test-ocr --image test.png
# 测试 Gitee 上传
xianyu-data-grabber test-upload --file test.txt
# 完整测试
xianyu-data-grabber test --all
# crontab -e
0 9 * * * cd ~/.openclaw/workspace && node skills/xianyu-data-grabber/grabber.js --config --upload >> logs/xianyu-cron.log 2>&1
0 10 * * 1 cd ~/.openclaw/workspace && node skills/xianyu-data-grabber/report.js >> logs/xianyu-report.log 2>&1
# 并行抓取（更快但可能被检测）
xianyu-data-grabber search --parallel 3
# 串行抓取（更慢但更安全）
xianyu-data-grabber search --sequential
skills/xianyu-data-grabber/SKILL.mdskills/xianyu-data-grabber/grabber.jsskills/xianyu-data-grabber/ocr.pyskills/xianyu-data-grabber/uploader.sh.xianyu-grabber-config.json