平山 大樹 AB通信 運営責任者
AB通信 編集部が、企業・行政の公式発表や決算資料などの一次情報を確認して書いています。運営会社・編集方針
OpenAIは11月2日、日常の用事をAIがどこまでこなせるかを測る評価「LifeVal」を公開した（OpenAI公式の発表）。保育園探しや行政の手続き、家計の管理、買い物など、人が実際に手伝ってほしいと考えている作業を集めたもので、OpenAIはこの1年、自社モデルの改善を測るのに使ってきたとしている。
目次
この記事の要約
LifeValは、米国と各国の生活時間調査に、3,995人を対象にした新しいアンケートを組み合わせて作業を選んだ評価だ。対象は子育てや介護、健康、教育、家の事務、家計、買い物、行政サービスまで広い。公式ページには、幼稚園の申し込みや洪水に備えたボランティアの手配など5つの作業例とスコアが載っている。ただし、作るのも採点するのもOpenAI自身で、作業の一覧や採点の基準は公開されていない。
LifeValとは：「答える」ではなく「用事を片づける」力を測る
OpenAIは、毎週10億人以上がChatGPTを使っているとしたうえで、日常の困りごとを助けるには助言だけでは足りず、実際に手続きを進める行動が必要だと説明している。LifeValは、そうした「用事を片づける」力が、モデルの世代ごとにどれだけ伸びたかを追うための評価だ。
作業の選び方：生活時間調査と3,995人のアンケート
- 米国の生活時間調査（American Time Use Survey）と、各国の生活時間調査（Multinational Time Use Study）から、人が日々している作業を洗い出した
- 年齢や性別などの構成を人口に合わせた3,995人のアンケートで、AIに手伝ってほしい作業を尋ねた
- 対象は、子育て・介護、健康、教育、家の事務、家計、買い物、行政サービスなど
公式ページに載っている作業例とスコア
- 引っ越し先の近くで幼稚園を比べ、申し込み先を絞る：93.1%
- 洪水に備えて、地域のボランティアを手配する：98.0%
- 予算や通勤の条件に合う家を探し、登記の書類をカートに入れる：100%
- 離れて暮らす祖母と一緒に試合を観られるよう準備する：96.3%
- 糖尿病と診断された親のために、食事と世話の計画を作る：90.4%
どの作業も、最後は利用者に確認を求めて終わる形になっている。申し込みや購入の確定まで、AIが勝手に進めるわけではない。
OpenAIの投稿
注意点：OpenAIが作り、OpenAIが採点した評価
- 作業の数や一覧、採点の基準は公開されていない。ほかの会社が同じ条件で試すことはできない
- 公式ページに載っているのはOpenAIのモデルの結果だけで、他社のモデルとは比べていない
- OpenAIはこの評価をモデルの改善に使ってきたとしている。改善に使った作業で高い点が出るのは、ある意味で当然とも言える
数字は「OpenAIが自社モデルの伸びをどう測っているか」を知る材料として読むのがよさそうだ。
