利用 bird 工具抓取 X/Twitter 时间线,自动去重、去噪并生成中文智能摘要,输出结构化 JSON 供上游推送。
说明:
## 核心用法
x-timeline-digest 是一个自动化 X/Twitter 信息聚合工具,依赖 `bird` 命令行工具(基于 cookie 认证)读取「For You」和「Following」两个时间线的推文。运行 `digest.js` 脚本后,系统会执行完整的处理流水线:抓取设定数量的推文 → 基于时间戳进行增量过滤(避免重复处理)→ 通过 tweet ID 硬去重 → 使用 0.9 相似度阈值合并近似重复内容 → 排序裁剪至最大条目数 → 生成结构化 JSON 输出。推荐配合 PROMPT.md 模板,将 JSON 数据注入 LLM 生成「智能简报」,自动分类为 AI & Tech、Crypto & Markets、Insights、Other 四大板块,并以简体中文输出带作者链接的摘要格式。
## 显著优点
1. **高效去噪**:内置启发式过滤自动移除 “gm”、广告及短垃圾内容
2. **智能去重**:双重机制(ID + 文本相似度)避免信息冗余
3. **状态持久化**:本地 JSON 状态文件记录已推送 tweet ID,30 天保质期防止重复
4. **灵活配置**:6 项参数可调,包括抓取数量、时间窗口、相似度阈值等
5. **LLM 友好**:结构化输出便于对接大模型做二次加工
6. **上游解耦**:仅负责内容生产,推送渠道(Telegram/邮件等)由外部工作流决定
## 潜在缺点与局限性
– **强依赖外部工具**:必须预装 `bird` 且完成 cookie 登录,认证失效即中断
– **只读局限**:无法互动(点赞/转发/评论),纯信息消费场景
– **语言固定**:摘要强制简体中文,不支持其他语言输出
– **分类固化**:四大预设类别无法自定义,特殊领域内容可能被归类到 “Other”
– **无内置推送**:需要用户自行搭建上游通知流程,完整使用门槛较高
– **平台风险**:依赖 X/Twitter 非官方 API,存在接口变更或封禁风险
## 适合人群
– 希望从信息过载的 X 时间线中提取高价值内容的重度用户
– 已使用 `bird` 工具的技术爱好者
– 需要定时信息简报并具备 LLM 接入能力的自动化工作流搭建者
– 关注 AI、Crypto、科技前沿的中文阅读群体
## 常规风险
| 风险类型 | 说明 | 缓释建议 |
|———|——|———|
| 认证失效 | bird cookie 过期导致抓取失败 | 定期检查登录状态 |
| API 变动 | X 平台接口调整使 bird 失效 | 关注 bird 项目更新 |
| 数据隐私 | 本地状态文件含 tweet 元数据 | 注意文件权限设置 |
| 内容误判 | 启发式过滤可能误删有价值短推文 | 调整阈值或人工复核 |
| 依赖维护 | Node.js 脚本与 bird 版本兼容性 | 锁定版本测试后再升级 |








