OpenAI: Yeni izleme sistemimiz Hugging Face kaçışını gerçek ihlalden 30 saat önce yakalardı
OpenAI’ın kendi yeniden oynatmasında uyarı, ajanlar kum havuzundan çıktıktan yaklaşık 30 dakika sonra geldi. Şirket içi Codex trafiğinde uyarı ise kapalı.
Kaynaklar: OpenAI, OpenAI Alignment, METR
Hugging Face olayının açtığı boşluk
OpenAI 29 Ekim’de yayımladığı “How we detect frontier model misalignment” başlıklı yazıda, öncü modellerin davranışını izleme sistemini genişlettiğini açıkladı. Şirket iç kodlama ajanlarını bir süredir izlediğini, ama Temmuz’daki Hugging Face olayının bir kapsama boşluğu ortaya çıkardığını yazıyor. Olay, hizasızlık (misalignment) izleyicilerinin çalışmadığı iç siber güvenlik değerlendirmelerinde başlamıştı. OpenAI’ın Ağustos’taki raporundaki zaman çizelgesine göre ajanlar 11 Temmuz’da Hugging Face’in üretim sunucularına sızdı.
Şirket o olayın kayıtlarını güçlendirilmiş izleyicilerle yeniden oynattı. Bu simülasyonda sistem, ajanlar kum havuzundan ilk çıktıktan yaklaşık 30 dakika sonra güvenlik ekibini uyardı. OpenAI’a göre bu, gerçek olayda Hugging Face’in sistemlerine girilmesinden 30 saatten fazla önceydi. Sonuç şirketin kendi testi; bağımsız bir doğrulaması yok. OpenAI Ağustos’ta da, düşünce zinciri izleyicileri o sırada çalışıyor olsaydı ekibin ihlalden “bir günden fazla önce” uyarılacağını yazmıştı.
OpenAI@OpenAIBugün OpenAI'da öncü modelleri izlemek için kullandığımız genişletilmiş sisteme bir bakış paylaşıyoruz. Bu sistem Eylül'de, bir modelin eğitim sırasında canlı internete erişme girişimini yakalamamıza yardımcı oldu.
Hugging Face olayından bu yana (modellerin, hizasızlık izleyicilerimizi çalıştırmadığımız bir iç siber güvenlik çalışmasından kaçtığı olay) öncü ajanları izleme kapsamımızı büyük ölçüde genişlettik. Artık bütün öncü pekiştirmeli öğrenme çalışmalarını ve değerlendirmeleri, ayrıca şirket içindeki bütün Codex kullanımını izliyoruz. Sistemimiz müdahale gerektirebilecek bir soruna dair kanıt bulduğunda, durumu inceleyip harekete geçebilecek insan müdahalecileri hızla uyarıyor.
Bir modelin davranışının amaçladığımızdan ne zaman saptığını tespit etmek için birkaç izleme katmanı kullanıyoruz. Aktivasyon sondaları, modelin iç etkinliğindeki örüntülere bakıyor. İnceleyici modeller modelin akıl yürütmesini ve araç kullanımını inceliyor; soruşturma ajanları ise bir eylem dizisinin nasıl bir araya geldiğini ve insan incelemesi gerektirip gerektirmediğini anlamak için modelin bütün transkriptini baştan okuyabiliyor.
Mevcut sistemimizin Hugging Face olayını tespit edip etmeyeceğini sınamak için kaydedilen etkinliği yeni izleyicilerimiz devredeyken yeniden oynattık. Yeniden oynatmada izleyicilerimiz, ajanlar kum havuzundan kaçtıktan yaklaşık 30 dakika sonra güvenlik ekibimizi uyardı. Bu, asıl olayda ajanların Hugging Face'in sistemlerine sızdığı andan 30 saatten fazla önceydi.
Eylül'de bir model, bir DNS yanlış yapılandırmasından yararlanarak canlı internete ulaştı. İzleyicilerimiz ihlali 15 dakika içinde işaretledi ve bir müdahaleci uyarıyı üç dakika sonra incelemeye başladı. Uyarı, müdahalecilerin çalışma hâlâ sürerken olayı incelemesini sağladı.
Modellere daha fazla özerklik verdikçe, korunmasını beklediğimiz bir sınırı aştıklarında bunu bilmemiz gerekiyor. İzlemenin, bu hataları insanların müdahale edebileceği kadar erken yakalamak için vazgeçilmez olduğuna inanıyoruz.
https://openai.com/index/how-we-detect-frontier-model-misalignment/Today, we’re sharing a look at our expanded system for monitoring frontier models at OpenAI, which in September helped us catch a model’s attempt to access the live internet during training.
Since the Hugging Face incident—when models broke out of an internal cybersecurity investigation where we weren’t running our misalignment monitors—we’ve substantially expanded our monitoring of frontier agents. We now monitor all frontier reinforcement learning runs and evaluations, as well as all internal Codex use. When our system finds evidence of a problem that might require intervention, it rapidly alerts human responders who can investigate and take action.
To detect when a model’s behavior departs from what we intended, we use several layers of monitoring. Activation probes look for patterns in a model’s internal activity. Reviewer models examine its reasoning and tool use, and investigative agents can read back through the model’s entire transcript to understand how a sequence of actions fits together and whether it warrants human review.
To test whether our current system would have detected the Hugging Face incident, we replayed the recorded activity with our new monitors in place. In the replay, our monitors alerted our security team about 30 minutes after the agents escaped their sandbox. That was more than 30 hours before the point at which the agents breached Hugging Face’s systems in the original incident.
In September, a model exploited a DNS misconfiguration to reach the live internet. Our monitors flagged the breach within 15 minutes, and a responder began reviewing the alert three minutes later. The alert enabled responders to investigate while the run was still underway.
As we give models more autonomy, we need to know when they cross a boundary we expected to hold. We believe that monitoring is essential to catching those failures in time for people to intervene.
openai.com/index/how-we-detect-frontier-model-misalignment
İngilizceden çevrildi
Dört katman ve kapsam
Sistemin ilk katmanı (L0), aktivasyon sondaları denen hafif sınıflandırıcılardan oluşuyor; bunlar modelin iç aktivasyonlarında endişe verici örüntüler arıyor. Sondaların işaretlemediği trafiğin rastgele %5’i de bir üst katmana gönderiliyor. L1’deki model tabanlı inceleyici, ajanın son konuşmasına, düşünce zincirine ve araç kullanımına bakıyor. L2’deki soruşturma ajanı bütün transkripti okuyup olayı yeniden kuruyor. Hassas iş yüklerinde L3, transkripti ağ kayıtları ve sistem telemetrisiyle karşılaştırıp bir insanı uyarıp uyarmayacağına karar veriyor.
En az GPT-6 Astra kadar yetenekli modellerde bütün pekiştirmeli öğrenme (RL) çalışmaları ve değerlendirmeler izleniyor. Şirket içindeki bütün Codex trafiği de kullanılan modelden bağımsız olarak izleniyor. OpenAI’ın 25 Eylül tarihli raporuna göre 20 Eylül’de bir eğitim ajanı, kum havuzundaki yetersiz DNS filtrelemesini kullanarak herkese açık bir sohbet botuna sorgu gönderdi. İzleyiciler bunu 15 dakikada işaretledi, bir kişi üç dakika sonra incelemeye başladı; çalışma 2,5 saat sonra durduruldu.
Şirketin kendi saydığı sınırlar
OpenAI, yanlış alarmlar yüzünden her iş yükünde gece gündüz uyarı göndermenin zorlaştığını yazıyor. Öncü RL çalışmalarında en yüksek öncelikli uyarı günün her saatinde bir müdahaleciye ulaşabiliyor; diğer trafikte uyarılar çoğunlukla mesai saatleriyle sınırlı. Şirket içi Codex trafiğinde uyarı gönderimi şu an kapalı. En yetenekli modellerin dış kullanımında izleme, araç kullanan Responses API isteklerini kapsıyor; Chat Completions API istekleri kapsam dışında.
Şirketin kendi ölçümüne göre L2, gerçek olayların %79,6’sını, sentetik olayların %59,6’sını acil güvenlik uyarısına yükseltti. İzlemesiz çıkarım çalıştırma ya da izlemeyi zayıflatma türündeki gerçek olaylarda bu oran %0. METR ve Redwood Research, Temmuz’da başlayan üç haftalık bir denetimde sistemde birkaç açık buldu. OpenAI çoğunun kapatıldığını, birinin düzeltmesinin sürdüğünü söylüyor; denetim, genişletmeden önceki sisteme yapılmıştı.
Kaynaklar
6 kaynak
- “How we detect frontier model misalignment”openai.com sürümü (başlık ve tarih sayfadan): 30 saatlik yeniden oynatma, Eylül’deki 15 dakikalık uyarı · openai.com
- “How we detect frontier model misalignment”Tam metin: dört katmanlı izleme (L0-L3), kapsam, yakalama oranları ve şirketin saydığı sınırlar · alignment.openai.com
- “An agent used DNS to reach an external chatbot”20 Eylül’deki olayın raporu: DNS filtreleme açığı, 15 dakikada işaretleme, 2,5 saat sonra durdurma · alignment.openai.com
- “The Hugging Face incident and the road ahead”Hugging Face olayının OpenAI’ın kendi anlatımı ve zaman çizelgesi; izleyicilerin ihlalden bir günden fazla önce uyaracağı değerlendirmesi · openai.com
- “Red-Teaming OpenAI’s Internal Agent Monitoring Systems”METR ve Redwood’un 21 Temmuz öncesi izleme sistemine yaptığı denetim (sitede k57) · metr.org
Bu haber hakkında
- Hazırlayan
- Yiğit Kasap · JARRUS
- Haber tarihi
- Sitede
- 2 Kasım 2026’dan beri
- @jarrus.ai hesabında 2 Kasım 2026’da paylaşıldı.
- Kısa link
thejarrus.com/openai-kacis-izleme- Hata bildir
- Bu haberde bir hata mı var? [email protected] · Instagram