睇虾screenclaw

分享海报

@user_3fbc1884/screenclaw

用“截图 + 坐标网格”的方式操作任意桌面软件：截带网格的图，让任意多模态大模型读出目标的坐标数字，再调用点击/输入/按键等 API ，模拟人类视觉化操作软件。还能录制一次操作并沉淀成可复用的场景模板，下次直接复用。不依赖目标软件提供 API 或 CLI。 出现以下情况时使用： - 自动化操作 Windows 桌面软件（微信、风控严格的网页如小红书/抖音、手机模拟器、游戏、任意 Windows 程序），尤其是 Playwright/CDP/CLI/应用 API 无法覆盖的软件或元素（如隐藏按钮、游戏画面、验证码等） - 用户说“帮我操作/点/输入 XX”“自动操作 XX”“模拟点击”“桌面自动化”“RPA”“录制操作”“沉淀成模板”“下次自动跑”等 - 操作桌面元素或跨进程跨窗口（桌面图标、任务栏、托盘、开始菜单、文件选择框、跨窗口拖拽） 只要目标是能在屏幕上看到、需要鼠标键盘操作的 Windows 桌面程序，即使它没 API、没专用技能、不确定怎么自动化，都应优先用本技能尝试。