OpenAI’ın modeli 722 matematik makalesi yazdı

OpenAI 6 Ekim’de, henüz yayınlanmamış bir iç modelinin ürettiği 722 matematik makalesini GitHub’da yayımladı. Makaleler 372 sonuç ailesinde toplanıyor ve sayılar teorisinden kısmi diferansiyel denklemlere kadar 17 alana yayılıyor.

Bunlar hakem değerlendirmesinden geçmiş makaleler değil. OpenAI da formal olarak doğrulanmamış bazı sonuçlarda sorun olabileceğini kabul ediyor.

İddialar küçük değil. Katalogda Riemann hipotezinin daha zayıf bir biçimi olan kuasi-Riemann hipotezi, Hilbert’in 10. probleminin rasyonel sayılardaki hali ve π’nin irrasyonellik üssünün tam 2 olduğu gibi, onlarca yıldır açık sorulara çözüm iddiaları var.

OpenAI’a göre modele yaklaşık 4.000 problem verildi. Katalog, bunların içinden yeterince önemli bulunan sonuçlardan oluşuyor.

OpenAI’a göre sonuçların büyük çoğunluğu aynı yöntemle elde edildi ve sonuç başına ortalama 3 saatlik ChatGPT Pro düşünmesine denk hesaplama harcandı. Bir şirket sözcüsü Scientific American’a, neredeyse hepsinin tek bir ajana verilen tek bir prompttan çıktığını söyledi; bazıları birkaç deneme gerektirmiş olabilir.

OpenAI’ın paylaştığı akıl yürütme özetlerinden birindeki prompt şöyle başlıyor: “Problem ‘açık’ olsa bile amaç, onu çözüp tam bir çözüm sunman.”

Yayından bir gün sonra ilk hata da ortaya çıktı. OpenAI 7 Ekim’de, bir işaret hatası yüzünden bir makaleyi ve ona dayanan iki makaleyi geri çekti, 14 makaleyi de düzeltti. Katalogda artık 719 makale var.

Yayın anında yalnızca 162 makalenin ana sonucu, ispatları bilgisayarla denetleyen Lean diliyle doğrulanmıştı. OpenAI şimdi ana sonuçların yaklaşık %42’sinin Lean ile doğrulandığını söylüyor.

OpenAI’a göre aynı model eylülde daha büyük bir iddianın da arkasındaydı. Şirket 8 Eylül’de, bu modelle çalışan yaklaşık 10 bin ajanın 88 saatte Navier-Stokes Milenyum Problemi’ni çözdüğünü duyurdu. Şirketin duyurusundaki bir grafik, modelin seçilmiş açık problemlerde GPT-6 Astra’yı geride bıraktığını gösteriyor.

Bu sonuç tek bir prompttan çıkmadı: ajanlara önce Euler denklemleri için bulunan bir sonuç verildi, ara bulgular da Codex ile birleştirildi.

Duyuru bir öncelik tartışmasını da beraberinde getirdi. OpenAI çalışmaya 1 Eylül’de bir söylenti üzerine başladığını, söylentinin NYU’dan Tristan Buckmaster ile Anthropic çalışanı Levent Alpöge’yle ilgili olduğunu sonradan anladığını söylüyor. İkili, Euler denklemlerinin zorlamalı versiyonunu çözmüştü.

Buckmaster, modelin kendi Codex oturumlarıyla eğitilip eğitilmediğini sorduğunu ama yanıt alamadığını yazdı; kimseyi suçlamadığını da ekledi. OpenAI ise bir incelemenin ardından, onun son iki aydaki promptlarının sistemi etkilemediğini açıkladı.

Doğrulama ise sürüyor. Clay Matematik Enstitüsü 11 Eylül’de problemin “görünüşe göre çözüldüğünü” söyledi ama sürecin “bilinçli olarak acelesiz” işlediğini vurguladı. Enstitü Navier-Stokes’u şimdilik ne çözülmüş ne de çözülmemiş olarak, “aktif problemler” başlığında listeliyor.

166 sayfalık ispat henüz hakemli bir dergide yayımlanmadı ve OpenAI ödülü talep etmeyeceğini söylüyor. Bir ön baskı da Lean ispatının makaledekiyle birebir örtüşmediğini öne sürüyor.

Eleştirilerin önemli bir kısmı şeffaflıkla ilgili. Terence Tao eylülde, yapay zeka şirketlerinin “olumsuz sonuçlarını açıklamayı ya da çözümlerine giden süreci göstermeyi reddetmesini” eleştirmişti. OpenAI’ın danıştığı IAS’teki danışma grubu da her sonuç için promptların, sürenin ve maliyetin açıklanmasını önermişti.

OpenAI ortalama hesaplamayı ve 10 akıl yürütme özetini paylaştı ama sonuç başına prompt ve süre vermedi.