株式会社グローバルゲート公式ブログ
CodexのComputer Useとは？〜ChatGPTを「相談相手」から「作業するAI」へ進化させる使い方〜
こんにちは、株式会社グローバルゲートのモーリーです。
4年に一度のサッカーの祭典、北中米ワールドカップの開幕が間近まで迫ってきました。
日本代表の活躍はもちろんのこと、最後の国別代表の可能性が高いメッシとロナウドの出場機会はあるのか、フィジカルとテクニックを併せ持つフランスのエムバペは機能するのか、故障をしてしまったブラジルのネイマールは出場できるのか、見どころの多い大会となりそうです。
ちなみに日本代表の初陣は6月15日（月）午前5:00、対オランダ戦です。がんばって早起きしましょう_(ˇωˇ」∠)_ ｽﾔｧ…
さて、本日はChatGPT Codexの機能の一つであるComputer Useについてご紹介したいと思います。
ChatGPTを仕事・プライベート共に活用する人は増えています。
メール文の作成、文章の要約、議事録の整理、Excel関数の相談、企画案の壁打ちなど、すでに日常業務で活用している人も多いでしょう。
ただ、ChatGPTを使っていると、次のように感じることはないでしょうか。
「答えは便利だけど、実際の画面操作は自分でやる必要がある」
「独自の社内システムや使用者の少ないWebサービスでは活用しずらい」
「ブラウザで確認して、結果をまとめてほしい」
「パソコン上のアプリを操作して、定型作業を手伝ってほしい」
こうしたニーズに応える機能として注目したいのが、OpenAIのCodexアプリに搭載されているComputer Useです。
Computer UseはChatGPTのAIを使って実際にパソコンを操作する機能です。
パソコンの操作を記録して再実行するマクロアプリは従来からありましたが、Computer Useはその操作部分をAIが担います。
Computer UseはChatGPTのように「答えるAI」ではなく、画面を見ながら「作業を手伝うAI」と言えるでしょう。
Codexとは何か
Computer UseはCodexのプラグインとして提供されています。
では、Codexとはなんでしょうか？
Codexは、OpenAIによるAIエージェントで、単独アプリとしてのほか、VSCodeなどのエディタの拡張機能やコマンドラインツールとしても提供されています。
ChatGPTのチャットのように質問と回答が1対1となるのではなく、プロジェクト内のファイルを網羅して答えを導き、ソースの改修やファイルの生成も行うことができるため、職業プログラマによる利用が急増しています。
しかし、CodexアプリのComputer Useに注目すると、必ずしもエンジニアだけのものではありません。
Codexアプリは、ローカルのパソコン上で動き、アプリやブラウザを見ながらAIが操作を行います。Computer UseはコマンドやAPIでは扱いにくい画面操作、ブラウザ作業、アプリ設定、GUI上でしか確認できない情報の確認などを行えます。
Computer Useはパソコンを操作するオペレーターと言えるでしょう。
Computer Useとは何か
Computer Useは実際にパソコンを操作するAIです。
たとえば、次のような作業を行うことができます。
Chromeで社内システムを開いて、未処理の申請件数を確認する
問い合わせ管理画面を見て、対応が必要なものを分類する
予約管理画面を見て、今週の空き状況を整理する
Webサービスの管理画面から、レポートに必要な情報を確認する
デスクトップアプリの設定画面を開いて、現在の設定を確認する
GUIでしか確認できないエラーや表示状態を見てもらう
通常のChatGPTでは、こうした画面上の情報をユーザーがコピーして質問し、そしてその回答を元にユーザーが作業を行う必要があります。
Computer Useは質問に対する回答を操作として実行します。
非常に便利な機能ですが、次のような危険な操作が行われる可能性があります。
重要なファイルを削除される・間違った内容で上書き保存される
間違った内容のメールを送信される
商品の購入やホテルの予約を行われる
そのため、通常のChatGPT以上に慎重な操作が求められます。
Computer Useが使える条件
Codexアプリ、Computer Use共にWindowsでもMacでも使用可能です。
ほとんどの環境で利用できると言っていいでしょう。
ただし利用にはChatGPTのアカウント作成が必要で、無料プランでは利用回数・時間の制限が厳しく、実質的にはGo以上の契約が必要でしょう。
macOSとWindowsでの違い
Computer UseはmacOSとWindowsの両方に対応していますが、動き方には違いがあります。
macOSの場合はファイル・フォルダへのアクセスや画面収録機能への許可が必要です。
初回起動時に各種許可を促されます。
Windowsでは、Computer Useはアクティブなデスクトップ上で動作します。そのため、ユーザーが他の操作を行っている間にComputer Useによる操作を実行させるという使い方はできません。専用のパソコンを用意するか、時間がかかる作業の場合は夜間に作業を行わせておくなどの対策が必要になるでしょう。
Codexアプリのインストール
それでは、CodexアプリとComputer Useを使ってみましょう。
まずはCodexアプリをインストールします。Codexホームページよりインストーラーをダウンロードし、インストールしてください。
ダウンロードが完了してCodexアプリを起動すると、ChatGPTへのログインが求められます。
ChatGPTへのログインが完了するとCodexが起動します。
見た目はブラウザからChatGPTへアクセスしたときとほぼ変わりませんが、アプリからはCodexならでは各種機能が使用できます。
Computer Useの有効化
次に、Computer Useを有効化します。
サイドバーより「プラグイン」を選択し、候補の中のComputer Useをクリックします。ブラウザ操作を行いたい場合は合わせてChromeも追加しておくといいでしょう。
CodexがComputer Useを使うように指示を出す場合は、プロンプトで@computer と書き、続けて命令文を入力します。
Computer Useはコンピュータの操作をすべて行うことができるため、
「ファイル削除は行わないでください」
「ファイルの保存は行わないでください」
のように、ネガティブプロンプトとしてやってはいけないことを付け加えるといいでしょう。
Compauter Useの活用事例
それでは実際にCodexとComputer Useを使ってみましょう。
大量のフォルダを生成する
手作業だと地味に大変な、大量のフォルダ作成を頼んでみます。
プロンプト
[@コンピュータ](plugin://computer-use@openai-bundled) デスクトップに「五十音」というフォルダを作り、その中に「あ」から「ん」までのフォルダをつくってください。
結果
うまくいきました！
コンピュータ内のファイル操作はブラウザ経由ではできないのでCodexならではの機能と言えます。
今回はフォルダ作成だけでしたが、ファイルの整理も任せることができます。
フォームへの自動入力
問い合わせフォームへの入力を任せてみたいと思います。
プロンプト
[@コンピュータ](plugin://computer-use@openai-bundled) ブラウザを開き、https://globalgate.co.jp にアクセスします。
問い合わせページを開き、WebChangerの見積もりがほしいという旨の文面を入力してください。
送信はしないで入力ができた段階で作業を終了してください。
結果
注目すべきは
・問い合わせページがどのページか
・WebChangerとは何か
をChatGPTが判断してフォーム入力を成功させている点です。
おそらく実際の送信まで実行可能だと思いますが、悪用も可能なので使用用途には注意が必要です。
アプリの操作
AppleやMicrosoft、Adobeなどの有名でシェアも大きなアプリケーションの操作はできると思いますが、ユーザー数が少なく情報が公開されていない業務アプリの操作は可能でしょうか。
当社はGmessageというメッセンジャーアプリをリリースしています。このアプリは法人向けで日本国内のみの提供のため、ほとんど情報が公開されていません。このようなアプリも操作可能でしょうか。
プロンプト
[@コンピュータ](plugin://computer-use@openai-bundled) Gmessageを開き、ルームのBlogチームを選択してメッセージ欄に
おはようございます。明日は有給をいただきます。
と入力してください。
メッセージの送信はしないでください。
結果
できてしまった。。。
Codexの解析能力を持ってすれば、よっぽど特殊なインターフェイスでない限りは操作できるのではないかという期待が持てます。自社で使用しているアプリが独自開発されたアプリだからAIを活用する隙がない、と諦めている企業にとっても朗報です。
まとめ
ということで、今回はCodexとそのプラグインのComputer Useの紹介をさせていただきました。
コンピュータそのものをAIを経由して操作するということは、コンピュータでできることはすべてできていまうということです。ある意味パンドラの匣のような機能と言えるのではないでしょうか。
業務効率化にこれ以上ない機能ではあるものの、重要データの消失や情報漏洩にもつながりかねない機能のため、使用には慎重さと使用者のモラルが問われます。
私たちも最新の注意を払いつつ、有益な使用方法を考えていきたいと思います。
【関連記事】
