ElevenLabs, sesli ajanlar için konuşmadan konuşmaya çalışan Eleven Realtime modellerini tanıttı

ElevenLabs, 20 Ekim’de sesli ajanlar için Eleven Realtime adlı konuşmadan konuşmaya (speech to speech) model ailesini duyurdu. Şirkete göre her model konuşma tanıma, sıra alma, dil modeli ve seslendirmeyi tek bir sistem olarak birlikte ayarlıyor. Böylece geliştiricinin bu parçaları ayrı ayrı seçip yapılandırması gerekmiyor; mevcut istem, ses, araçlar ve bilgi tabanı aynen çalışıyor. İki sürüm var. Varsayılan ve en ucuz seçenek olan v1 Mini asistanlar, eğitim uygulamaları ve etkileşimli karakterler için. v1 Max ise yanıt vermeden önce akıl yürütüyor; müşteri desteği ve çok adımlı araç çağrıları için öneriliyor.

Şirketin yayımladığı ve Artificial Analysis’in bağımsız olarak ölçtüğü belirtilen sonuçlara göre ilk sesin gelmesi Mini’de 620, Max’te 570 milisaniye sürüyor. Max, sesli akıl yürütme testi Big Bench Audio’da yüzde 98,8, görev başarısında yüzde 87,1 aldı. Mini, Full-Duplex-Bench’te yüzde 95,8 ve Speech Agent Arena’da 988 Elo puanında. ElevenLabs X paylaşımında, sesli ajanlarda genellikle hızlı yanıtla doğru yanıt arasında seçim yapmak gerektiğini, yeni modellerin ikisini birden sunduğunu söylüyor. Modeller 90’dan fazla dilde konuşabiliyor.

Modeller ElevenAgents platformunda ve Realtime API’de sunuluyor; değişiklik kaydına göre çalışma alanlarına kademeli olarak açılıyor. Realtime API, OpenAI’ın Realtime API’siyle uyumlu; şirkete göre geçiş için uç nokta ve model adını değiştirmek yetiyor. API lansmanda yalnızca WebSocket destekliyor, WebRTC desteği yok. Ücret ElevenAgents’ta dakika ücreti artı token başına dil modeli maliyetinden, API’de bağlı kalınan ses dakikası artı tokenlerden oluşuyor; tanıtım sayfasında rakam verilmiyor. Aynı güncellemede canlı konuşma çevirisi yapan Realtime Translation API’si de kurumsal müşterilere açıldı.