GitHubは2026年10月1日、GitHub Copilotがデスクトップアプリを直接操作できる「computer use」をパブリックプレビューとして公開しました。Copilot CLI(ターミナル版)とGitHub Copilotアプリで使え、ボタンのクリック、文字の入力、キー操作、スクロール、ドラッグまでをCopilotが代行します。APIやコマンドラインが用意されていない古い業務ソフトやGUI専用ツールを、コードを書く流れのまま自動化したい開発者に関係する更新です。ただし既定ではオフで、操作対象のアプリごとに利用者の承認が必要です。
何ができるようになったのか
computer useは、AIが人間と同じように画面を見てマウスとキーボードを動かす機能です。GitHubの解説ドキュメントによると、Copilotはアプリのアクセシビリティ情報(画面読み上げ機能向けにアプリが公開している部品の構造)か、スクリーンショットのどちらかで画面の内容を読み取り、作業の進み具合に応じて操作の手段を選びます。複数のアプリをまたいだ作業にも対応します。
GitHubが例として挙げているのは、ブラウザーの通知を要約する、プレゼン資料を更新する、デスクトップ上の業務フローで情報を転記する、といった用途です。CLI向けの手順書では、想定する対象を「API、コマンドラインインターフェース、MCP連携のいずれも提供していないレガシーソフトやGUI専用ソフト」と明記しています。MCP(Model Context Protocol)はAIが外部ツールを呼び出すための共通規格で、MCPやAPIで済むならそちらを優先し、どうしても画面操作しか手段がない場面で使う、という位置付けです。
なぜGitHubがデスクトップ操作に踏み込むのか
AnthropicやOpenAIは以前から、自社のエージェントに画面操作の機能を持たせてきました。コーディング用のエージェントは、コードを書いてテストを回すところまではターミナルで完結しますが、実際の業務では「社内の管理画面で設定を確認する」「デスクトップアプリで動作を目視する」といった画面操作の工程が残ります。GitHubはCopilotアプリを、Issueやプルリクエストから並行して作業を進める開発環境として打ち出しており、画面操作が加わることで、ターミナルの外にある工程も同じ会話の中で頼めるようになります。
対応するのはmacOSとWindowsのローカル実行のみです。CopilotアプリそのものはLinux版もありますが、computer useはLinuxに対応していません。
有効化の手順と承認の仕組み
CLIでは/computer onで有効化、/computer showで状態を確認、/computer offで無効化します。Copilotアプリでは設定画面の「Computer Use」から有効にできます。
Copilotがアプリを操作する前には承認を求められ、「今回のセッションのみ許可」「常に許可」「拒否」の3つから選びます。「常に許可」は同じPC上のCLIとCopilotアプリの両方に引き継がれ、後から個別に取り消せます。設定済みの拒否ルールは保存済みの許可より優先されます。
企業の管理者は、組織の管理設定でこの機能をまるごと無効にできます。手順書によると、無効化されている場合はCLIが「managed settings(管理設定)によりブロックされている」と表示し、利用者が手元で有効化しても上書きできません。利用するには、組織でCopilot CLIのポリシーが有効になっている必要もあります。
日本の開発者・情シスにとって
日本の現場には、Web APIを持たない受発注システム、帳票ソフト、ベンダー独自の管理ツールが多く残っています。これまでRPA(画面操作を記録して自動実行するツール)で対応してきた工程の一部を、Copilotに自然文で頼めるようになる可能性があります。ただしドキュメントは、アプリのバージョンやウィンドウの状態によって画面が変わると「誤ったコントロールを選ぶ、誤った場所に入力する」ことがあると認めています。定型業務をそのまま置き換えるより、開発中の確認作業や一度きりの転記から試すのが現実的と考えられます。
注意したいのは情報の扱いです。GitHubは、画面に表示されている内容がそのままCopilotの文脈として使われるため、他人の機微な情報を含むアプリでは使わないよう求めています。また「曖昧な指示や予期しない画面上の内容が、意図しない操作につながる可能性がある」とも書いています。画面に表示されたWebページやメールの文面に悪意のある指示が紛れ込むプロンプトインジェクションのリスクも、画面を読む以上は避けられません。経理や人事のシステム、顧客情報を扱う画面では、管理者が組織設定で無効にしておく判断も十分にあり得ます。
なお、Copilotのモデル選択でコストを抑える仕組みについては、HydraFusionの記事で解説しています。
次にやること
- 組織の管理者は、computer useを許可するかどうかを先に決め、許可しない場合は管理設定で無効化しておく
- 試す場合は、機密情報を表示しないテスト用のアプリやアカウントで、「値は変更しない」「フォームは送信しない」といった制約を指示に書いて動きを確かめる
- 「常に許可」にしたアプリは、作業後に一覧を見直して不要なものを取り消す
