広場
最新
注目
ニュース
プロフィール
ポスト
HashiChainNews
2026-04-10 01:21:31
フォロー
🔥研究者：主流AIベンチマークには体系的な脆弱性が存在し、ランキングデータが深刻に歪む可能性がある
4月10日、AI研究者のHao Wangは調査結果を公開し、SWE-bench VerifiedやTerminal-Benchを含む複数の業界権威あるAIベンチマークには、体系的に悪用可能な脆弱性が存在すると指摘した。
彼らのチームが構築したエージェントは、実際のタスクを解決せずに、2つのベンチマークで満点の100%を獲得した。
典型的な例は以下の通り：SWE-bench Verifiedでは、コードリポジトリに10行のpytestフックを埋め込み、テスト実行前にすべての結果を自動的に「合格」に改ざんし、スコアリングシステムはこれに気付かず、500問すべて満点を獲得した。Terminal-Benchは…
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については
免責事項
をご覧ください。
1 いいね
報酬
1
コメント
リポスト
共有
コメント
コメントを追加
コメントを追加
コメント
コメントなし
人気の話題
もっと見る
#
GateLaunchesPreIPOS
202.72K 人気度
#
GateSpotDerivativesBothTop3
9.58M 人気度
#
IsraelStrikesIranBTCPlunges
27.2K 人気度
#
OilEdgesHigher
1.17M 人気度
#
USIranCeasefireTalksFaceSetbacks
563.9K 人気度
人気の Gate Fun
もっと見る
Gate Fun
KOL
最新
ファイナライズ中
リスト済み
1
God light
God light
時価総額:
$2.27K
保有者数:
1
0.00%
2
Putincoin
Putincoin
時価総額:
$2.26K
保有者数:
1
0.00%
3
xazbik05
xazbik
時価総額:
$2.26K
保有者数:
1
0.00%
4
DGR
打工人
時価総額:
$2.26K
保有者数:
2
0.00%
5
CTCUM
Cryptocium
時価総額:
$2.24K
保有者数:
1
0.00%
ピン
サイトマップ
🔥研究者：主流AIベンチマークには体系的な脆弱性が存在し、ランキングデータが深刻に歪む可能性がある
4月10日、AI研究者のHao Wangは調査結果を公開し、SWE-bench VerifiedやTerminal-Benchを含む複数の業界権威あるAIベンチマークには、体系的に悪用可能な脆弱性が存在すると指摘した。
彼らのチームが構築したエージェントは、実際のタスクを解決せずに、2つのベンチマークで満点の100%を獲得した。
典型的な例は以下の通り：SWE-bench Verifiedでは、コードリポジトリに10行のpytestフックを埋め込み、テスト実行前にすべての結果を自動的に「合格」に改ざんし、スコアリングシステムはこれに気付かず、500問すべて満点を獲得した。Terminal-Benchは…