Codex Computer Use（コンピューター操作）
Computer Use（コンピューター操作）は、Codex が提供する機能であり、Codex が macOS または Windows 上のグラフィカルユーザーインターフェース（GUI）を表示および操作できます。
コマンドラインツールや構造化された統合では要件を満たせない場合、この機能を使用して、デスクトップアプリの操作、ブラウザー操作、アプリ設定の調整などのタスクを実行できます。
Computer Use（コンピューター操作）により、Codex はデスクトップアプリを「見る」および「操作する」能力を備えます。コマンドラインツールとは異なり、Computer Use は、ボタンのクリック、テキストの入力、メニューの閲覧などの操作を含むグラフィカルインターフェースと直接対話できます。
Computer Use（コンピューター操作）機能は、視覚的な検証やグラフィカルインターフェースとの対話が必要なシナリオに適しています。たとえば、デスクトップアプリのテスト、GUI にのみ現れるバグの再現、プラグインが提供されていないデータソースの操作などです。
Computer Use はプロジェクトワークスペース外のアプリやシステム状態に影響を与えるため、範囲が明確なタスクにのみ使用し、実行中は権限プロンプトに注意することをお勧めします。
環境設定
Computer Use を使用する前に、必要なプラグインのインストールと権限設定を完了する必要があります。
Computer Use プラグインのインストール
Codex 設定を開いて、Computer Useオプションをクリックし、InstallComputer Use プラグインをインストールします。
インストールが完了すると、Codex がデスクトップアプリを操作できるようになります。
macOS の権限設定
macOS では、以下の 2 つのシステム権限を付与する必要があります：
| 権限 | 用途 |
|---|---|
| 画面収録（Screen Recording） | Codex が対象アプリのインターフェース内容を表示できるようにします |
| アクセシビリティ（Accessibility） | Codex がクリック、入力、ナビゲーションなどの操作を実行できるようにします |
初回使用時にシステムが権限リクエストを表示するため、案内に従って許可してください。
Windows での使用説明
Windows では、Computer Use はアクティブなデスクトップで実行する必要があります。
タスクの実行中、対象アプリは現在のアクティブなデスクトップに表示されたままにする必要があります。Codex がマウスポインターとキーボード入力を引き継ぎます。
Windows では、Computer Use はバックグラウンドで実行できません。デスクトップを同時に使い続ける必要がある場合は、仮想マシンまたは別のデバイスの使用をお勧めします。
次に、会話ウィンドウで Web サイトを開くように指示するだけで、Computer Use が使用されます：
使用シナリオ
タスクがグラフィカルユーザーインターフェースに依存しており、ファイルやコマンドライン出力だけでは検証が難しい場合は、Computer Use を選択してください。
Computer Use の使用に適したシナリオ
| シナリオ | 説明 |
|---|---|
| デスクトップアプリのテスト | Codex が構築している macOS アプリ、Windows アプリ、iOS シミュレーターのフロー、またはその他のデスクトップアプリをテストする |
| ブラウザー操作 | Web ブラウザーで実行する必要があるタスクを実行する |
| バグの再現 | グラフィカルインターフェースでのみ発生するバグを再現する |
| アプリ設定の調整 | UI のクリックによってのみ変更できるアプリ設定を変更する |
| プラグイン以外のデータソース | プラグインが提供されていないアプリやデータソースの情報を表示または操作する |
| macOS のバックグラウンドタスク | macOS で限定的な範囲のバックグラウンドタスクを実行しながら、他の場所で作業を続ける |
| アプリ間ワークフロー | 複数のアプリに関連する自動化プロセスを実行する |
ローカルで構築された Web アプリには、Computer Use ではなく、Codex の組み込みブラウザー（in-app browser）を優先して使用してください。
Windows でのフォアグラウンド使用
Windows では、Computer Use は現在のアクティブなデスクトップ上で実行されます。
バックグラウンドでは実行できないため、タスクの実行中、Codex はマウスポインターを移動し、テキストを入力し、フォアグラウンド操作を引き継ぎます。
Windows タスクを自分が離れている間に実行し続ける必要がある場合は、次の 2 つの方法があります：
- Windows デバイスのロックを解除してインターネットに接続したままにし、スマートフォンのリモートコントロール機能を使用して進行状況を確認するか、後続の指示を送信します。
- Windows 仮想マシンで Codex を実行すると、Computer Use はメインのデスクトップではなく仮想マシンを操作します。
Computer Use タスクの開始
プロンプトで言及するか、@Computer 或 @AppNameまたは、Codex に直接 Computer Use を使用させます。
Codex が操作すべき具体的なアプリ、ウィンドウ、またはプロセスを明確に説明する必要があります。
入力ボックスに以下の内容を入力して呼び出すことができます：
使用 Computer Use 打开应用，复现登录流程中的 bug，并修复导致该 bug 的最简代码路径。 每次修改后，重新运行相同的 UI 流程进行验证。
入力ボックスで@Chromeブラウザーを呼び出します：
例：
打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。
対象アプリに専用のプラグインまたは MCP サーバーが提供されている場合は、データアクセスと反復可能な操作のために、これらの構造化された統合を優先してください。視覚的な確認やアプリの操作が必要な場合にのみ Computer Use を選択してください。
権限と承認
Computer Use のシステム権限と Codex のアプリ承認は分かれています。
macOS では、画面収録とアクセシビリティの権限により、Codex がアプリを表示および操作できます。
アプリ承認は、Codex にどのアプリの使用を許可するかを決定します。
ファイルの読み取り、ファイルの編集、シェルコマンドは、引き続きスレッドのサンドボックスと承認設定に従います。
アプリの権限管理
Computer Use を使用するとき、Codex はあなたが許可したアプリのみを表示および操作できます。
タスクの実行中、Codex はアプリを使用する前にあなたの許可を求めます。
選択できるのは、常に許可（Always allow）これにより、Codex は今後そのアプリを使用するときに再度確認する必要がなくなります。
Codex 設定のComputer Useセクションで、「常に許可」リストからアプリを削除できます。
機密操作の承認
機密性が高い、または破壊的な操作については、Codex が追加の許可を求める場合があります。
トラブルシューティング
Codex がアプリを表示または制御できない場合は、次の手順で確認してください：
- macOS では、システム設定 > プライバシーとセキュリティを開き、Codex アプリの「画面収録」と「アクセシビリティ」の権限が有効になっているか確認します。
- Windows では、対象アプリが現在のアクティブなデスクトップセッションに表示されていることを確認してください。
Locked Use（macOS）
Locked Use（ロック使用）は macOS 専用の機能です。
これにより、Mac のロック画面の後に Codex が Computer Use を引き続き使用できますが、事前に手動で有効にする必要があります。
適用シナリオ：接続されたデバイスから Codex タスクを開始し、そのタスクがデスクトップアプリを必要とするが、Mac がすでにロックされている場合。
動作原理
Locked Use を有効にすると、Codex は Apple の承認プラグイン（authorization plug-in）をインストールし、macOS のロック解除プロセスに関与します。
Locked Use の設計範囲は非常に限られています。汎用的なリモートロック解除経路ではなく、他のアプリやローカルプロセスがコンピューターのロックを解除することも許可しません。
有効化手順
- 開くCodex 設定 > Computer Use。
- ロックされたコンピューターの使用（Locked computer use）を有効にします。
- 接続されたデバイスから Computer Use を使用するタスクを起動します（Mac の画面がロックされた後）。
安全メカニズム
Codex タスクが Mac のロック画面後に Computer Use を介してアプリにアクセスする場合、Codex は Mac を一時的にロック解除し、同時にローカルでの使用をブロックしてロック画面の保護を保持します。
ロック解除の前に、Codex はそのロック解除リクエストがアクティブで信頼された Computer Use のセッションに属するかどうかを検証します。
その短時間の認可ウィンドウ以外では、Codex はロック解除を拒否し、手動でのロック解除を促します。
Locked Use の安全保護
| 保護対策 | 説明 |
|---|---|
| 短時間有効な認可ウィンドウ | 認可ウィンドウは現在のロック解除試行に対してのみ有効で、期間は非常に短いです。 |
| Codex の自動ロック解除のみ | 自動ロック解除は、アクティブな Computer Use セッション中の Codex に対してのみ利用可能です。 |
| すべてのディスプレイをカバー | デスクトップが一時的にロック解除されている間、Codex はすべてのディスプレイの画面をカバーします。 |
| ローカル入力の検出 | ローカルのキーボードまたはポインター入力を検出した場合、Codex はすぐに Mac を再ロックし、手動でロック解除するまで自動ロック解除を一時停止します。 |
安全ガイド
Computer Use を使用する際、Codex は画面の内容を表示し、スクリーンショットを撮影し、ターゲットアプリ内のウィンドウ、メニュー、キーボード入力、クリップボードの状態と対話できます。
ターゲットアプリ内で表示されるアプリの内容、ブラウザーページ、スクリーンショット、開いているファイルは、タスク実行中に Codex によってコンテキストとして処理される可能性があります。
安全な操作の推奨事項
| 推奨事項 | 説明 |
|---|---|
| 一度に1つのターゲット | 毎回 Codex に明確なターゲットアプリまたはプロセスを1つだけ与えます。 |
| いつでも中断可能 | いつでもタスクを停止したり、コンピューターの制御を引き継いだりできます。 |
| 不要な機密アプリを閉じる | タスクに必要な場合を除き、機密アプリは閉じた状態に保ちます。 |
| Windows のフォアグラウンド占有に注意 | Windows では、Codex がフォアグラウンド入力を引き継ぎます。2台目のデバイス、仮想マシンの使用を推奨するか、デスクトップを直接使用する前にタスクを停止してください。 |
| シークレットキーに関わるタスクを避ける | あなたがその場にいて各ステップを承認できる場合を除き、シークレットキーを必要とするタスクの実行は避けてください。 |
| アプリの権限プロンプトを確認 | Codex がアプリを使用することを許可する前に、権限プロンプトをよく確認してください。 |
| 「常に許可」は慎重に使用 | 将来のタスクで Codex が自動的に使用することを信頼するアプリにのみ「常に許可」を選択してください。 |
| 重要な設定には立ち会いが必要 | アカウント、セキュリティ、プライバシー、ネットワーク、支払い、または資格情報に関連する設定を扱う場合は、必ずその場で監督してください。 |
| ウィンドウの切り替えに注意 | Codex が誤ったウィンドウと対話し始めた場合は、すぐにタスクをキャンセルしてください。 |
ブラウザ使用時の注意事項
Codex があなたのブラウザーを使用する場合、ログイン済みのページと対話できます。
自分自身で操作するのと同じように、Web サイトの動作を確認してください。Web ページには悪意のある、または誤解を招くコンテンツが含まれている可能性があり、Web サイトは承認済みのクリック、フォーム送信、ログイン済みの操作をあなたのアカウントからのものと見なす可能性があります。
Codex が作業している間にブラウザーを引き続き使用する必要がある場合は、Codex に別のブラウザーを使用させることができます。
機能の制限
Computer Use はターミナルアプリや Codex 自身を自動化できません。これらを自動化すると Codex のセキュリティポリシーをバイパスする可能性があるためです。
また、管理者として認証したり、コンピューター上のセキュリティとプライバシーの権限プロンプトを承認したりすることもできません。
データの説明
ファイル編集とシェルコマンドは、引き続き Codex の承認とサンドボックス設定に従います。
デスクトップアプリを介して行われた変更は、ディスクに保存されプロジェクトによって追跡されるまで、レビューパネルに表示されない場合があります。
あなたの ChatGPT データ制御設定は、Computer Use によって取得されたスクリーンショットを含む、Codex を介して処理されるコンテンツに適用されます。
その他の拡張機能