懒人福音：用Codex语音遥控投影仪，动嘴就能看剧

我家的投影仪遥控器经常找不到，找到后也要开机、打开腾讯视频、找播放记录，继续看上次没看完的综艺或电视剧。想看电影时也纠结，饭都吃到一半了，电影还没选好。后来我想，电脑就在客厅，能不能把投影仪接到 Codex，通过语音控制它？于是让 Codex 研究 1 小时，实现了这个效果：MacBook 放在客厅桌上，我在沙发上说“小C，请你打开我的投影仪，然后打开腾讯视频找到我之前看的综艺，帮我点开”，投影仪自己打开，Agent 操纵完成任务。想关投影仪时直接喊“小C，关掉我的投影仪”。

文章分享整个流程：①用 Codex 控制投影仪，支持开关机和复刻遥控器操作；②让 Codex 看到投影仪实时画面，实现“给指令→Agent 读取画面→决策点击→执行→再读取→评估是否完成”的闭环；③做一个语音助手时刻监听，说“小C”唤醒，把话实时转成文本同步给 Codex 执行。

第一步是把遥控器接到电脑上。最初任务是让 Mac 控制投影仪，弄清投影仪通过 Wi-Fi 接收什么指令，再让电脑用同样方式控制。先让电脑和投影仪连同一 Wi-Fi，告诉 Codex 投影仪型号和 IP 地址，让它自己研究。约 5 分钟后，Codex 真让投影仪选中框往右挪了一格。之后关机、方向键、确认、返回、主页和音量也逐个接起来。开机较麻烦，折腾多轮后，Codex 让我用 iPhone 官方极米 App 开机，同时把手机放 Mac 附近，Codex 配合本机程序采样蓝牙信号，再尝试由 Mac 发送。终于有一轮，我没碰手机也没碰遥控器，只让 Mac 发了一次广播，投影仪自己亮了。随后 Codex 把这些操作做成 Mac 小应用，常驻菜单栏，包含方向键、确认、返回、音量和开关机等按钮，也沉淀成 Skill 方便 Agent 调用。

第二步是让 Codex 看见投影仪画面。如果每步都要我告诉它向左、向右、确认，打开腾讯视频、找播放记录仍得我判断。后来发现电脑通过同一局域网就能拿到投影仪当前画面截图。在 Agent Loop 中看到投影仪界面截图时，我觉得太神奇了，还真能走通。这样 Codex 可以看一眼屏幕决定下一步按什么，操作后再看一眼，遇到首页、弹窗或不同选中位置也能根据实际画面调整。我把这个 Mac 上的极米 Z7X 投影仪控制 App 和对应 Skill 开源了，地址：https://github.com/Wechat-ggGitHub/xgimi-agent

第三步是喊名字唤起 Codex 干活。我想能不能直接通过语音操纵 Codex，再让它用投影仪操纵 Skill 控制投影仪。还真行，我做了一个 Mac App 叫小C。它平时在后台等着，喊一声小C，它就响一下表示听到。接着我说出指令，说完稍微停顿，它就把语音转成文字发给 Codex。我特意要求每次发到同一个专用会话，这样后面指令能接着前面上下文继续聊，比如刚操作过投影仪，下一次让它返回或关机，不用每次重新交代背景。之后又让 Codex 加上自动朗读，任务完成后 Codex 在会话里回复，小C 再把回复朗读出来，这样我不盯电脑也能听到结果。我已通过这个语音入口发过投影仪关机指令。唤醒、把文字发到 Codex 固定会话、Codex 干完活自动朗读播报都支持了。这个语音 App 也开源了，项目叫 Voice Control Agent，应用里还是叫小C。平时等待唤醒在 Mac 本机完成，唤醒后的指令音频才交给语音识别服务，语音识别需配置自己的服务账号；使用在线声音朗读时，回复文字也会发给对应语音服务。地址：https://github.com/Wechat-ggGitHub/voice-control-agent

接入 Agent 后，智能家具真的变“智能”了。这次只接了一台投影仪，但让我对后面家庭设备有更多想法。如果灯、空调、窗帘等控制方式也能逐个接通，Agent 就可以根据需求协调它们一起工作。比如吃完饭想看电影，跟它说一声，它去打开投影仪、调整灯光、找到想看的内容；或者出门时告诉它检查该关的设备，哪些已关、哪些还需处理，它再告诉我。从这次实际做出来的东西看，我觉得半年内会有越来越多这种能用起来的家庭 Agent 出现。电脑或家里某个常驻设备作为大脑，我每天跟它说话，它理解需求，再调用相应工具操作设备。我还想到老人看电视的场景：现在有些电视界面我自己进去都要找一会儿，找应用、找节目、找播放记录，中间还夹着推荐和会员入口，对不熟悉界面的人操作成本太高。如果 Agent 能看懂当前画面又能操作设备，老人就可以说“接着放昨天那个电视剧”或“我想看以前看过的那个老电影”，信息不够 Agent 就问一句再帮他找。我觉得这个场景挺不错，期望后面都能落地普世化。