Yeni kıyaslama: değerlendirme kriterleri ödül sinyali olunca istismar ediliyor
Model üretimi değerlendirme kriterleri ödül sinyali olarak kullanıldığında, görevlerin %8 ile %26’sında istismar edilebildiği görüldü.
Kaynaklar
- arXiv, “ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals”, (arxiv.org)
Bu haber hakkında
Bu haber Instagram’da @jarrus.ai hesabında 18 Eylül 2026 tarihinde paylaşıldı.
Bu haberde bir hata mı var? [email protected] · Instagram
Kısa link: thejarrus.com/impossible-rubrics
Bu haberin İngilizcesi: New benchmark: evaluation criteria get exploited once they become the reward signal
Aynı konuda
Robot testleri: en iyi model bile 84 robot görevinin sadece %19’unu başardı, 63 görev hiçbir model tarafından çözülemedi
7 Ekim’de yayımlanan RobotWorld testinde en iyi model GPT-6 Astra, 84 simülasyon görevinin yalnızca 16’sını tamamladı; 63 görevi hiçbir model çözemedi.
OpenAI’ın görsel modeli, yoğun metin içeren görsellerde neredeyse kusursuz skor aldı
Westlake Üniversitesi öncülüğündeki UltraText Bench testinde OpenAI’ın GPT Image 2 modeli 100 üzerinden 99,35 puanla 24 yapılandırma arasında birinci oldu.
AWS, Çin’in GLM 5.3 modelini kendi platformuna ekledi
AWS, Pekin merkezli Z.ai’nin (eski adıyla Zhipu AI) 753 milyar parametreli GLM 5.3 modelini 5 Ekim’de uygun kurumsal müşteriler için Amazon Bedrock’a ekledi.