エポチャイによるフロンティア数学ベンチマークでは、O3は問題の25.2％を解決しましたが、他のモデルは2％を超えていませんでした。これは、以前のモデルで数学的推論能力の飛躍をもたらしました。
ベンチマーク対実世界の値
理想的には、真のPHDレベルのAIモデルの潜在的なアプリケーションには、医学研究データの分析、気候モデリングのサポート、および研究作業の日常的な側面の取り扱いが含まれます。
情報によって報告された高い価格は、正確であれば、Openaiがこれらのシステムが企業にかなりの価値を提供できると考えていることを示唆しています。この出版物は、Openaiの投資家であるSoftBankが、今年だけでOpenaiのエージェント製品に30億ドルを費やすことを約束しており、費用にもかかわらずかなりのビジネス上の利益を象徴していると指摘しています。
一方、Openaiは、そのプレミアム価格設定戦略に影響を与える可能性のある財政的圧力に直面しています。同社は、昨年、サービスの運営に関連するその他の費用をカバーして、昨年約50億ドルを失ったと伝えられています。
Openaiの成層圏価格設定計画のニュースは、ユーザーが比較的低コストで強力な機能を期待するように条件付けられた比較的手頃な価格のAIサービスの長年になっています。 ChatGpt Plusは1か月あたり20ドルのままであり、Claude Proは毎月30ドルの費用がかかります。 ChatGpt Proの月額200ドルのサブスクリプションでさえ、新しい提案された料金と比較して比較的少ないです。これらの層のパフォーマンスの違いが、千倍の価格差に一致するかどうかは、未解決の問題です。
彼らのベンチマークパフォーマンスにもかかわらず、これらのシミュレートされた推論モデルはまだ苦労しています コンパブレーション– もっともらしいものの、実際に誤った情報を生成するインストランス。これは、精度と信頼性が最も重要な研究アプリケーションにとって重要な懸念のままです。毎月20,000ドルの投資は、組織がこれらのシステムを信頼して、微妙なエラーをハイステークスの研究に導入しないかどうかについて疑問を投げかけます。
このニュースに応えて、何人かの人々がソーシャルメディアで、企業が実際の博士課程の学生をはるかに安く雇うことができると言っていました。 「あなたが忘れた場合に備えて」 書いた Xaiの開発者Hieu Phamは、「現在のLLMよりもはるかに優れた仕事をすることができる最も明るいスターを含むほとんどの博士課程の学生が、月額$ 20kを支払われていません。」
これらのシステムは特定のベンチマークで強力な機能を示していますが、「PHDレベル」ラベルは主にマーケティング用語のままです。これらのモデルは、印象的な速度で情報を処理および統合することができますが、実際の博士課程レベルの仕事を定義する創造的思考、知的懐疑論、およびオリジナルの研究をどの程度効果的に処理できるかについて疑問が残っています。一方、彼らは疲れたり、健康保険を必要としたりすることはありません。また、能力が改善され続け、時間とともにコストが低下し続ける可能性があります。
