Jack Dorsey氏が共同創業者を務めるBlockのAI研究チームは、テキストを使わず人の会話音声だけでゼロから学習させた音声対話モデル「Dessa」を研究プレビューとして公開しました。公式ページによると、Dessaは音声の入出力だけで動くフルデュプレックス（聞きながら同時に話せる）のモデルで、感情や間、相づちなど、文字だけでは落ちてしまう情報も扱えるとしています。パラメータ数やベンチマークの数値は、公式では示されていません。
この記事の要点
- Blockの小さなAI研究チームが、人の会話音声だけでゼロから学習した音声対話モデル「Dessa」を研究プレビューとして公開した。
- テキストや既存の事前学習モデルは使わず、音声の入出力だけで会話するフルデュプレックスのモデルだとしている。
- MacBook Pro（M4 Max以上）のローカルで動き、推論はリアルタイムより速いとしている。
- いまはAI安全性の研究者向けに先行公開し、一般の人はウェイトリストに登録できる。
- チームはJack Dorsey氏に直接報告する体制で、かつてのTorontoの深層学習スタートアップ「Dessa」の出身者らが中心だとしている。
目次
何が発表されたか
| 項目 | 内容 |
|---|---|
| 発表元 | Block内の小さなAI研究チーム（公式ではJack Dorsey氏に直接報告すると記載） |
| モデル名 | Dessa（デッサ） |
| 学習の仕方 | 人の会話音声だけでゼロから学習。テキストなし、事前学習済みモデルも使わないとしている |
| 対話の形 | 音声入出力のフルデュプレックス（聞きながら同時に話せる）。相づちや割り込みのタイミングも学習したとしている |
| 動作環境 | MacBook Pro（M4 Max以上）のローカル。推論はリアルタイムより速いとしている |
| 提供の形 | 研究プレビュー。AI安全性の研究者に先行公開。一般はウェイトリスト |
| パラメータ数・ベンチマーク | 公式では示されていない |
なにが新しいのか
多くの音声AIは、いったん文字に直してから大規模言語モデルに渡し、また音声に戻します。Dessaは、その途中の文字化をせず、音声のまま学んで音声のまま返す「speech-to-speech」だと公式は説明しています。笑いやため息、皮肉、声が詰まるような感情も、そのまま聞き取り・話し分けられる方向を目指しているとしています。
デモ音声は、人がDessaと話しているライブ録音だとされ、どのタイミングで話すか、どんな声や性格で返すかもモデル自身が決めているとのことです。字幕はあとから付けたとしています。第三者の音声モデル「GPT-Live-1」との会話デモもありますが、その開発元はBlockと無関係で、内容を確認・支持していないと注記されています。
誰向けか・いまできること
| 対象 | 内容 |
|---|---|
| AI安全性の研究者 | 想定外のリスクを外から見つけるため、少人数に早期アクセスを渡している |
| 一般の利用者 | 公式ページからウェイトリストに登録できる。いますぐ広く使える製品ではない |
| Macで試したい人 | 動作条件としてMacBook Pro（M4 Max以上）のローカル実行が示されている（研究プレビューの範囲） |
チームのリードはRagavan Thurairatnam氏で、研究者・インターンの名前も公式ページに掲載されています。問い合わせ先として ragavan+dessa@block.xyz が案内されています。
反応と注意点
- デモの自然さを評価する声がある一方、人に似すぎて不気味だという反応も出ています（報道・SNS上の反応）。
- パラメータ数や公開ベンチマークは公式にないため、性能の数値比較はまだできません。
- 研究プレビューであり、一般向けの製品提供時期は示されていません。
