VercelのVercel Labsは、AIエージェントにパソコンのアプリを操作させるためのオープンソースの道具「agent-desktop」を発表した。macOS・Windows・Linuxに対応し、Claude CodeやCursorなどのコーディングエージェントから呼び出して使う。人が作業を続けている裏で動き、複数のエージェントがそれぞれ自分のカーソルで同時に操作できるという（Chris Tate氏の発表）。
発表は日本時間10月31日9時15分。VercelのCEOのGuillermo Rauch氏も「すべてのデスクトップにエージェントを」と紹介した（Rauch氏のX投稿）。
要するに何が起きたか（3行）
- 何ができる：AIエージェントが、メモや計算機、Windowsのイベントビューアーといったパソコンのアプリを、画面の画像ではなくアプリの「部品の一覧」を読んで操作できる
- 特徴：初期設定では、マウスポインターを動かさず、操作中の画面も奪わない。複数のエージェントが並行して動ける
- 入手：
npm install -g agent-desktopで入る。ライセンスはApache-2.0。10月28日（日本時間）公開の1.0.0でLinuxに対応し、3つのOSがそろった
agent-browserの「パソコン全体版」
Vercel Labsは、AIエージェントにWebブラウザーを操作させる「agent-browser」を公開している。agent-desktopはその考え方をパソコンのアプリ全体に広げたもので、発表では「agent-browser, for your whole computer（パソコン全体のためのagent-browser）」と紹介された。
公式ドキュメントは、agent-desktopを「エージェントが呼び出す道具であって、エージェントそのものではない」と説明している。中にAIモデルは入っておらず、どう操作するかを考えるのは呼び出す側のエージェントだ。また、対象はパソコンのアプリで、Webページの操作にはagent-browserを使う。
仕組み：画面の画像ではなく「部品の一覧」を読む
多くの「パソコン操作AI」は、画面を撮影し、画像から押す位置を推測してクリックする。agent-desktopは、OSが視覚障害のある人などのために用意しているアクセシビリティの仕組みを使う。macOSのAX、WindowsのUI Automation、LinuxのAT-SPIから、アプリのボタンや入力欄などの一覧（アクセシビリティツリー）を読み取り、JSONの形で返す（GitHubの説明）。
一覧の部品には、それぞれ「ref」という目印がつく。エージェントは、
- 読む：アプリの部品の一覧を取り出す（snapshot）
- 操作する：目印を指定して押す・入力する（click、typeなど）
- 確かめる：もう一度読み直して、操作が反映されたかを見る
という流れを繰り返す。画像の位置合わせをしないので、操作の結果を一覧で確かめられる。
主な特徴
- 裏で動く：初期設定では、目印を使った操作でマウスポインターを動かさず、操作中のアプリの前面も奪わない。物理的なマウスやキーボードの入力が必要なときは
--headedを指定する - 複数のエージェントが同時に動く：セッションを分けると、エージェントごとに別々に読み取りと操作ができる。画面には、エージェントの名前がついたカーソルを表示できる（0.8系で追加）
- 3つのOSに対応：macOS、Windowsに加え、10月28日（日本時間）公開の1.0.0でLinux（x86_64・aarch64）に対応した（変更履歴）
- コマンドの数：コマンド名は60個で、そのうち56個が使える。残りの4つ（キーやボタンを押したままにする操作）は、まだ実行できない
- エージェント向けの手引き：
agent-desktop skills get desktopで、エージェントが最初に読む使い方の手引きを出せる。プログラムから直接呼べるCのライブラリもある
使い始めるには
npm install -g agent-desktop
agent-desktop status # OS、権限、対応状況を確認
agent-desktop skills get desktop # エージェントに最初に読ませる手引き- macOS：アクセシビリティの許可が必要（
agent-desktop permissions --guideで案内が出る） - Linux：画面のあるログイン中のセッションと、at-spi2-coreが必要
- Windows：ターミナルと同じ権限レベルで動いているアプリなら、特別な許可はいらない
身近な例：どんな場面で使えるか
デスクトップアプリを作っている開発者
自社のWindowsやmacOSのアプリを、コーディングエージェントに実際に操作させて動きを確かめる、という場面だ。コードを直したあと、エージェントがアプリを起動してボタンを押し、表示が変わったかを部品の一覧で確かめられる。
定型の事務作業を持つ人
ブラウザーではなく、パソコンのアプリでしかできない作業（設定画面の確認、ローカルのアプリへの入力など）をエージェントに任せたい場面だ。人が別の作業をしている裏で動かせるのが利点になる。ただし、アプリが部品の一覧を公開していない場合は操作できない。
使う前に知っておきたい注意点
- 個人の情報が写りうる：GitHubの説明は、部品の一覧、クリップボード、スクリーンショット、出力の記録には、パソコンの個人的な内容が入りうるとして、公開のログやアップロードに含めないよう注意している
- 見えないアプリもある：画像を読むのではなく部品の一覧を読むため、一覧を公開していないアプリの画面は扱えない（公式ドキュメント）
- 権限を与えることになる：macOSではアクセシビリティの許可を与える。エージェントにパソコンの操作を任せる範囲は、使う人が決めておく必要がある
- リモートやベンチマーク：リモートのパソコンを操作する使い方や、ほかの道具との性能の比べ方は、公式の説明では確認できていない
注意点・補足
- GitHubのリポジトリは2026年2月に作られ、11月1日の時点でスターは約4,500。最新は10月31日（日本時間）公開の1.0.2
- 発表の動画では、Claude Code、Cursorなどの名前がついたカーソルが表示されている。どのエージェントでも使えるという説明は、発表とGitHubの説明による
関連記事
- Cursor、エージェントがPCのアプリを操作する「Computer Use」を追加
- Grok Botがスマホのカレンダー・連絡先を操作 使う前の許可と注意点
- AIコーディングツール、日本で一番検索されているのは？Googleトレンドで比較
出典
- Vercel Labs — vercel-labs/agent-desktop（GitHub）
- Vercel Labs — agent-desktop CHANGELOG
- Vercel Labs — agent-desktop Releases（1.0.0：2026年10月28日、1.0.2：2026年10月31日、いずれも日本時間）
- Vercel Labs — agent-desktop ドキュメント
- Chris Tate（Vercel Labs） — 発表のX投稿（2026年10月31日）
- Guillermo Rauch（Vercel CEO） — X投稿（2026年10月31日）
