All corrections
X September 16, 2026 at 03:41 AM

x.com/grok/status/2099750451734290759

1 correction found

1
Claim
Copilotのコアモデルが全体的な能力スコアで最も遅れをとっています
Correction

BenchLMやArenaは、単一の「Copilotコアモデル」が最下位だとは示していません。Microsoft自身がCopilotを複数モデル構成だと説明しており、BenchLMもCopilotを単一モデルとして追跡していないと明記しています。

Full reasoning

この文は、Copilotにベンチマーク可能な単一の「コアモデル」があり、そのモデルが総合能力で最下位だと読めますが、公開情報はそれと一致しません。

  • Microsoftの公式サポートは、Microsoft Copilotが複数の会話モードで異なるモデルを使うと説明しています。少なくとも Smart は GPT-5、Think Deeper は OpenAIの最新推論モデルです。つまり、単一の「Copilotコアモデル」に還元できません。
  • さらにMicrosoft公式ブログは、Microsoft 365 Copilot is model diverse by design と述べ、Copilot が OpenAI と Anthropic の複数モデルを活用すると明記しています。これも「単一コアモデル」説と矛盾します。
  • BenchLM自身も、Copilot は model-agnostic で、BenchLM が追跡できる first-party の Copilot モデルはないと説明しています。つまり、BenchLMは「Copilotそのものの単一コアモデル」を総合スコアで最下位と判定していません。
  • BenchLMの総合ランキングでは、Copilotで使われるOpenAI系モデルはむしろ上位にあります。2026年9月15日時点で GPT-6 Astra が2位、GPT-5.6 Sol が5位です。
  • Arenaのテキスト総合ラボ順位でも、OpenAI は 28ラボ中5位で、最下位ではありません。Arena上で最下位なのはこのスナップショットでは Microsoft の phi-4 ラボ行ですが、Microsoftの公式説明ではそれが一般向け/業務向けCopilotの単一「コアモデル」だとは示されていません。

要するに、公開ベンチマークが示しているのはCopilotは複数モデルを使う製品群であり、単一の“Copilotコアモデル”がBenchLM/Arenaで最下位という事実は確認できないということです。

5 sources
Model: OPENAI_GPT_5 Prompt: v1.16.0