基于 Twilio + Deepgram + ElevenLabs 的实时 AI 电话代理，支持语音识别、LLM 对话与流式语音合成，适合快速搭建语音客服或测试语音 AI 能力。
说明：
## 核心用法
Phone Agent 是一个本地 FastAPI 服务器，充当实时语音桥梁，将电话通话与 AI 对话能力连接起来。使用时需配置 Twilio 电话号码、Deepgram（语音识别）、OpenAI（对话逻辑）、ElevenLabs（语音合成）四项服务，通过 ngrok 暴露本地端口完成公网映射，即可实现：接听来电 → 实时转录用户语音 → LLM 生成回复 → 流式 TTS 播报的完整闭环。
## 显著优点
1. **实时性强**：采用 WebSocket 双向流式传输，延迟可控在 1-2 秒内，接近自然对话节奏
2. **模块化架构**：STT/LLM/TTS 三组件解耦，可独立替换供应商（如将 Deepgram 换成 Whisper，ElevenLabs 换成 Azure TTS）
3. **开箱即用**：提供完整的 `scripts/server.py` 和依赖清单，无需从零编写信令处理
4. **可定制性高**：支持修改 system prompt 更换人设、切换 voice ID 调整音色、升级模型平衡成本与智能程度
## 潜在缺点与局限性
– **基础设施依赖重**：需同时维护 4 个外部 API 密钥和 ngrok 隧道，任一服务故障即导致全链路中断
– **成本叠加**：Twilio 通话费 + Deepgram 转录费 + OpenAI tokens + ElevenLabs 字符费，长对话成本显著高于纯文本交互
– **网络稳定性敏感**：本地开发依赖 ngrok，生产环境需部署至云服务器并处理 WebSocket 高并发
– **无内置记忆**：默认实现未提及对话历史持久化，多轮上下文依赖单次 session 内存
## 适合人群
– 希望快速验证语音 AI 产品原型的开发者
– 需要搭建简单电话客服或预约系统的中小企业
– 对实时语音交互技术栈（WebSocket + 流式 TTS）感兴趣的学习者
## 常规风险
– **API 密钥泄露**：若 `.env` 文件权限配置不当或误提交至代码仓库，可能导致密钥被盗刷
– **电话欺诈滥用**：Twilio 号码若被恶意利用进行骚扰或诈骗，可能引发法律追责
– **隐私合规**：通话录音涉及个人语音生物特征，需确保符合 GDPR/《个人信息保护法》等法规
会员专属
