基于 Docker + Playwright 的深网爬虫工具，可穿透 YouTube、X/Twitter 等复杂站点的反爬机制，提取原始数据供 LLM 处理
说明：
## 核心用法
`deep-scraper` 是一个面向工程师的高性能深网数据采集工具，采用容器化架构（Docker + Crawlee + Playwright）实现对现代复杂网站的穿透式抓取。用户需预先构建 `clawd-crawlee` 镜像，通过标准 CLI 接口传入目标 URL 即可启动采集任务。
典型工作流：
1. 构建镜像：`docker build -t clawd-crawlee skills/deep-scraper/`
2. 执行抓取：`docker run -t –rm -v $(pwd)/skills/deep-scraper/assets:/usr/src/app/assets clawd-crawlee node assets/main_handler.js [TARGET_URL]`
3. 解析 stdout 输出的 JSON 结果
输出格式标准化为 JSON，包含状态码（SUCCESS/PARTIAL/ERROR）、内容类型（TRANSCRIPT/DESCRIPTION/GENERIC）、YouTube VideoID（如适用）及核心文本数据。
## 显著优点
– **反爬穿透能力**：Playwright 模拟真实浏览器行为，可应对 YouTube、X/Twitter 等平台的动态渲染与防护机制
– **容器化隔离**：Docker 封装确保环境一致性，避免本地依赖污染
– **LLM 优化输出**：自动过滤广告与噪音，返回结构化纯净数据
– **模块化部署**：`skills/deep-scraper` 目录即插即用，自包含 Dockerfile 便于集成
## 潜在局限
– **基础设施依赖**：强制要求宿主机预装并运行 Docker，增加部署门槛
– **资源消耗**：Playwright 浏览器实例内存占用较高，大规模并发需精细调度
– **平台合规风险**：YouTube、X/Twitter 等服务条款通常禁止自动化抓取
– **维护成本**：目标站点前端变更可能导致选择器失效，需持续适配
## 适合人群
– 需批量提取公开视频字幕/描述的内容创作者与研究员
– 构建 RAG 知识库、需原始数据源的 AI 应用开发者
– 具备 Docker 运维经验的后端工程师
## 常规风险
| 风险类型 | 说明 |
|———|——|
| 服务条款违规 | 可能触发平台账号封禁或法律追索 |
| 数据隐私 | 虽禁止密码保护内容抓取，但公开个人信息的聚合仍存在伦理争议 |
| 缓存污染 | 未正确验证 VideoID 可能导致数据交叉污染（已内置校验规则防范） |
| 资源滥用 | 高频请求可能被识别为 DDoS 攻击特征 |
建议配合代理池、请求频率限制及合规审查流程使用。
会员专属
