Найсильніша модель o3 від OpenAI викрита у шахрайстві, отримавши привілейований доступ до банку тестових питань FrontierMath заздалегідь

Підрядник з EpochAI на ім'я "Meemi" розкрив на форумі Less Wrong, що OpenAI не тільки надав фінансову підтримку для тесту FrontierMath, але й отримав привілейований доступ до банку тестових питань.

Тамай Бесіроглу, заступник директора та один із співзасновників EpochAI, незабаром визнав це на платформі X. Ми зробили помилку, не розкривши участь OpenAI у FrontierMath раніше. Наш контракт забороняв нам це робити до випуску o3. Заднім числом, ми повинні були прагнути до більшої прозорості раніше. Ми визнаємо це і обіцяємо покращити ситуацію в майбутньому.

Еліот Глейзер, головний математик EpochAI, визнав, що не розкрив інформацію про фінансування галузі під час проекту і вибачився перед математиками, які могли б не брати участь, якби знали про це заздалегідь. Щодо балів o3, він висловив упевненість у точності балів, наданих OpenAI, але наголосив, що EpochAI потрібно перевірити через незалежний набір тестів на утримання, який розробляється, і пообіцяв, що оцінки з цього набору будуть оприлюднені. Коли його запитали про статус цього набору на утримання, Глейзер уточнив, що він ще розробляється, а не завершений.

Повідомляється, що FrontierMath є високо оціненим еталоном оцінки здатності до просунутого математичного мислення. Він був спільно створений EpochAI за участю понад 60 провідних математиків, включаючи кількох лауреатів медалі Філдса та досвідчених укладачів задач для Міжнародних математичних олімпіад.