Codex Computer Use (control de computadora)
Computer Use (control de computadora) es una función que ofrece Codex, que le permite a Codex ver y operar la interfaz gráfica de usuario (GUI) en macOS o Windows.
Cuando las herramientas de línea de comandos o las integraciones estructuradas no satisfacen las necesidades, puedes usar esta función para realizar tareas como operar aplicaciones de escritorio, interactuar con el navegador, ajustar la configuración de aplicaciones, etc.
Computer Use (control de computadora) le da a Codex la capacidad de «ver» y «operar» aplicaciones de escritorio. A diferencia de las herramientas de línea de comandos, Computer Use puede interactuar directamente con la interfaz gráfica, incluyendo hacer clic en botones, escribir texto, navegar por menús, etc.
La función Computer Use (control de computadora) es adecuada para escenarios que requieren verificación visual o interacción con la interfaz gráfica, como probar aplicaciones de escritorio, reproducir errores que solo aparecen en la GUI, u operar fuentes de datos que no ofrecen complementos.
Computer Use puede afectar aplicaciones y el estado del sistema fuera del espacio de trabajo del proyecto. Se recomienda usarlo solo para tareas con un alcance claro y prestar atención a las indicaciones de permisos durante la ejecución.
Configuración del entorno
Antes de usar Computer Use, debes completar la instalación de los complementos necesarios y la configuración de permisos.
Instalar el complemento de Computer Use
Abre la configuración de Codex y buscaComputer Usela opción, haz clic enInstallInstalar el complemento de Computer Use.
Una vez completada la instalación, puedes hacer que Codex comience a operar aplicaciones de escritorio.
Configuración de permisos en macOS
En macOS, se deben otorgar los siguientes dos permisos del sistema:
| Permiso | Propósito |
|---|---|
| Grabación de pantalla (Screen Recording) | Permite a Codex ver el contenido de la interfaz de la aplicación de destino |
| Accesibilidad (Accessibility) | Permite a Codex realizar operaciones de interacción como clic, entrada de texto, navegación, etc. |
El sistema mostrará una solicitud de permiso al primer uso; simplemente autoriza según las indicaciones.
Instrucciones de uso en Windows
En Windows, Computer Use debe ejecutarse en el escritorio activo.
Durante la ejecución de la tarea, la aplicación de destino debe permanecer visible en el escritorio activo actual; Codex tomará el control del puntero del ratón y la entrada del teclado.
En Windows, Computer Use no puede ejecutarse en segundo plano. Si necesitas seguir usando el escritorio al mismo tiempo, se recomienda usar una máquina virtual o un segundo dispositivo.
A continuación, solo tenemos que pedirle en la ventana de conversación que abra un sitio web, y usará Computer Use:
Casos de uso
Cuando la tarea depende de la interfaz gráfica de usuario y es difícil verificarla solo con archivos o la salida de la línea de comandos, se debe elegir Computer Use.
Escenarios adecuados para usar Computer Use
| Escenario | Descripción |
|---|---|
| Pruebas de aplicaciones de escritorio | Probar aplicaciones de macOS, aplicaciones de Windows, flujos del simulador de iOS u otras aplicaciones de escritorio que Codex está construyendo. |
| Operación del navegador | Realizar tareas que deben completarse a través de un navegador web. |
| Reproducción de errores | Reproducir errores que solo aparecen en la interfaz gráfica. |
| Ajuste de configuración de aplicaciones | Modificar configuraciones de aplicaciones que solo pueden completarse mediante clics en la interfaz de usuario. |
| Fuentes de datos sin complemento | Ver u operar información en aplicaciones o fuentes de datos que no ofrecen complementos. |
| Tareas en segundo plano en macOS | Ejecutar tareas en segundo plano de alcance limitado en macOS mientras continúas trabajando en otro lugar. |
| Flujos de trabajo entre aplicaciones | Ejecutar procesos de automatización que involucran múltiples aplicaciones. |
Para aplicaciones web construidas localmente, prioriza el uso del navegador integrado de Codex (in-app browser) en lugar de Computer Use.
Uso en primer plano en Windows
En Windows, Computer Use se ejecuta en el escritorio activo actual.
No puede ejecutarse en segundo plano, por lo que durante la ejecución de la tarea, Codex moverá el puntero del ratón, escribirá texto y tomará el control de las operaciones en primer plano.
Si necesitas que las tareas de Windows continúen ejecutándose mientras estás ausente, hay dos opciones:
- Mantén el dispositivo Windows desbloqueado y conectado a Internet, y usa la función de control remoto del teléfono para ver el progreso o enviar instrucciones posteriores.
- Ejecuta Codex en una máquina virtual de Windows, de modo que Computer Use controle la máquina virtual en lugar de tu escritorio principal.
Iniciar tareas de Computer Use
En el prompt menciona@Computero@AppName, o simplemente pide a Codex que use Computer Use.
Debes describir claramente la aplicación, ventana o proceso específico que Codex debe operar.
Puedes ingresar el siguiente contenido en el campo de entrada para invocarlo:
使用 Computer Use 打开应用，复现登录流程中的 bug，并修复导致该 bug 的最简代码路径。 每次修改后，重新运行相同的 UI 流程进行验证。
Puedes usar en el campo de entrada@Chromeinvocar el navegador:
Por ejemplo:
打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。
Si la aplicación de destino ofrece complementos dedicados o servidores MCP, prioriza el uso de estas integraciones estructuradas para el acceso a datos y operaciones repetibles. Elige Computer Use solo cuando necesites inspeccionar u operar la aplicación visualmente.
Permisos y aprobaciones
Los permisos del sistema de Computer Use y las aprobaciones de aplicaciones en Codex son independientes.
En macOS, los permisos de grabación de pantalla y accesibilidad permiten a Codex ver y operar aplicaciones.
La aprobación de aplicaciones, por otro lado, determina qué aplicaciones permites que Codex use.
La lectura de archivos, la edición de archivos y los comandos de shell siguen la sandbox y la configuración de aprobación del hilo.
Gestión de permisos de aplicaciones
Al usar Computer Use, Codex solo puede ver y operar aplicaciones que hayas permitido.
Durante la ejecución de la tarea, Codex solicitará tu permiso antes de usar una aplicación.
Puedes elegirSiempre permitir (Always allow), de modo que Codex no volverá a preguntar al usar esa aplicación en el futuro.
Puedes, en la sección de configuración de Codex,Computer Useeliminar aplicaciones de la lista «Siempre permitir».
Aprobación de operaciones sensibles
Para operaciones sensibles o destructivas, es posible que Codex solicite permiso adicional.
Solución de problemas
Si Codex no puede ver o controlar una aplicación, sigue estos pasos para verificar:
- En macOS, abreConfiguración del sistema > Privacidad y seguridad, revisa si los permisos de «Grabación de pantalla» y «Accesibilidad» de la aplicación Codex están activados.
- En Windows, asegúrate de que la aplicación de destino sea visible en la sesión del escritorio activo actual.
Locked Use (macOS)
Locked Use es una función exclusiva de macOS.
Permite que Codex continúe usando Computer Use después de que tu Mac esté bloqueado, pero debes habilitarlo manualmente con anticipación.
Escenario aplicable: inicias una tarea de Codex desde un dispositivo conectado, la tarea requiere usar una aplicación de escritorio, pero el Mac ya está bloqueado.
Cómo funciona
Una vez habilitado Locked Use, Codex instalará un complemento de autorización de Apple (authorization plug-in) que participa en el proceso de desbloqueo de macOS.
El alcance de diseño de Locked Use es muy limitado: no es una vía de desbloqueo remoto genérica ni permite que otras aplicaciones o procesos locales desbloqueen la computadora.
Pasos para habilitarlo
- AbreConfiguración de Codex > Computer Use。
- Habilitar "Uso de computadora bloqueada (Locked computer use)".
- Iniciar una tarea que use Computer Use desde un dispositivo conectado (después de que la pantalla del Mac esté bloqueada).
Mecanismo de seguridad
Cuando una tarea de Codex accede a aplicaciones mediante Computer Use después de que la pantalla del Mac esté bloqueada, Codex desbloquea temporalmente el Mac, mientras bloquea el uso local y mantiene la protección de la pantalla de bloqueo.
Antes de desbloquear, Codex verifica si la solicitud de desbloqueo pertenece a una sesión activa y confiable de Computer Use.
Fuera de esa breve ventana de autorización, Codex rechazará el desbloqueo y te pedirá que desbloquees manualmente.
Protección de seguridad de Locked Use
| Medidas de protección | Descripción |
|---|---|
| Ventana de autorización de corta duración | La ventana de autorización solo es válida para el intento de desbloqueo actual y dura muy poco tiempo. |
| Desbloqueo automático solo para Codex | El desbloqueo automático solo está disponible para Codex durante una sesión activa de Computer Use. |
| Cubrir todos los monitores | Durante el desbloqueo temporal del escritorio, Codex cubre la imagen de todos los monitores. |
| Detección de entrada local | Si se detecta entrada local de teclado o puntero, Codex vuelve a bloquear el Mac inmediatamente y pausa el desbloqueo automático hasta que lo desbloquees manualmente. |
Guía de seguridad
Al usar Computer Use, Codex puede ver el contenido de la pantalla, tomar capturas de pantalla e interactuar con ventanas, menús, entradas de teclado y el estado del portapapeles en la aplicación de destino.
El contenido visible de la aplicación, las páginas del navegador, las capturas de pantalla y los archivos abiertos en la aplicación de destino pueden ser procesados por Codex como contexto durante la ejecución de la tarea.
Recomendaciones de operaciones seguras
| Recomendación | Descripción |
|---|---|
| Un objetivo a la vez | Dale a Codex solo una aplicación o proceso de destino claro a la vez. |
| Interrumpible en cualquier momento | Puedes detener la tarea o tomar el control de la computadora en cualquier momento. |
| Cierra aplicaciones sensibles innecesarias | Mantén cerradas las aplicaciones sensibles a menos que la tarea las requiera. |
| Presta atención a la ocupación del primer plano en Windows | En Windows, Codex toma el control de la entrada en primer plano; se recomienda usar un segundo dispositivo, una máquina virtual o detener la tarea antes de usar el escritorio personalmente. |
| Evita tareas que involucren claves secretas | Evita ejecutar tareas que requieran claves secretas a menos que estés presente y puedas aprobar cada paso. |
| Revisa los avisos de permisos de las aplicaciones | Antes de permitir que Codex use una aplicación, revisa detenidamente los avisos de permisos. |
| Usa "Permitir siempre" con precaución | Elige "Permitir siempre" solo para aplicaciones en las que confíes que Codex usará automáticamente en tareas futuras. |
| Presencia requerida para configuraciones críticas | Supervisa siempre en persona las configuraciones relacionadas con cuentas, seguridad, privacidad, red, pagos o credenciales. |
| Presta atención al cambio de ventanas | Si Codex comienza a interactuar con la ventana equivocada, cancela la tarea de inmediato. |
Precauciones al usar el navegador
Si Codex usa tu navegador, puede interactuar con páginas en las que ya has iniciado sesión.
Revisa el comportamiento del sitio web como si lo estuvieras haciendo tú mismo: las páginas web pueden contener contenido malicioso o engañoso, y los sitios web pueden considerar los clics aprobados, los envíos de formularios y las acciones con sesión iniciada como provenientes de tu cuenta.
Si necesitas seguir usando el navegador mientras Codex trabaja, puedes hacer que Codex use otro navegador diferente.
Limitaciones de funciones
Computer Use no puede automatizar aplicaciones de terminal ni al propio Codex, porque automatizarlos podría eludir las políticas de seguridad de Codex.
Tampoco puede autenticarse como administrador ni aprobar avisos de permisos de seguridad y privacidad en la computadora.
Información sobre los datos
La edición de archivos y los comandos de shell siguen sujetos a la configuración de aprobación y sandbox de Codex.
Los cambios realizados a través de aplicaciones de escritorio pueden no aparecer en el panel de revisión hasta que se guarden en el disco y sean rastreados por el proyecto.
Tus configuraciones de control de datos de ChatGPT se aplican al contenido procesado a través de Codex, incluidas las capturas de pantalla tomadas por Computer Use.
Otras extensiones