基于 xdotool/wmctrl/dogtail 的 Linux 桌面自动化工具集，支持窗口管理、键鼠模拟、无障碍 UI 解析及截图，适用于 X11/GNOME 环境的非浏览器应用控制。
说明：
## 核心功能
Linux GUI Control 是一套面向 Linux 桌面环境（X11/GNOME）的自动化控制技能，整合了 `wmctrl`、`xdotool`、`dogtail` 三大工具链，实现从窗口管理到 UI 交互的完整工作流：
### 主要能力
| 维度 | 实现工具 | 典型场景 |
|——|———|———|
| **窗口管理** | `wmctrl` | 激活、移动、调整大小、列举窗口 |
| **输入模拟** | `xdotool` | 鼠标点击、键盘输入、快捷键触发 |
| **UI 解析** | `dogtail` (AT-SPI) | 提取应用的无障碍树结构，定位按钮/输入框 |
| **视觉辅助** | `scrot` | 截图供视觉模型分析（fallback 方案） |
### 显著优势
– **文本优先交互**：通过 accessibility API 直接读取 UI 层级，减少对截图/Vision 的依赖，降低延迟与成本
– **Electron 兼容**：提供 `–force-renderer-accessibility` 启动方案，覆盖 VS Code、Discord、Chrome 等现代应用
– **脚本化封装**：`gui_action.sh` 与 `inspect_ui.py` 封装复杂命令，降低使用门槛
– **分层降级策略**：文本 UI 解析失败时自动回退视觉分析，保证任务完成率
### 局限性与风险
| 类别 | 说明 |
|——|——|
| **显示协议限制** | 仅支持 X11，Wayland 环境（如较新 Ubuntu/Fedora 默认）需切换或无法使用 |
| **无障碍依赖** | 目标应用需暴露 AT-SPI 接口，部分闭源软件或自定义 UI 框架不支持 |
| **坐标脆弱性** | `xdotool click` 依赖绝对坐标，窗口位置变动会导致操作失败 |
| **权限要求** | 需访问 X11 display 和 accessibility bus，容器/远程环境配置复杂 |
| **安全边界** | 输入模拟可被恶意利用，敏感操作（密码输入）存在泄露风险 |
### 适用人群
– **自动化测试工程师**：构建 Linux 桌面端的 E2E 测试流水线
– **运维/DevOps**：批量配置 GUI 应用、无人值守安装向导
– **辅助技术开发者**：基于无障碍接口构建屏幕阅读器或自动化工具
– **AI Agent 系统**：为 LLM 提供结构化桌面环境感知与操作能力
### 常规风险
– **误操作风险**：脚本错误可能导致错误窗口激活或意外点击（建议操作前 `wmctrl -l` 确认目标）
– **状态同步问题**：UI 树缓存与实际界面可能不同步，高频操作需配合延时
– **Electron 启动参数遗忘**：未加 `–force-renderer-accessibility` 将导致 dogtail 无法解析现代应用
