Drift Varsayılan Açıktır — uzun oturumlar çapaları kaybeder, drift'i kapatın.
Drift Araştırması
(Araştırmacının Sesi) Geçtiğimiz on yılda, büyük ölçekli dil modelleri, mantık yürütme, çeviri, özetleme, planlama ve çok modlu anlama konularında benzeri görülmemiş yetenekleri göstermiştir. Ancak milyarlarca dolarlık araştırma yatırımı ve sürekli mimari iyileştirmelere rağmen, bir başarısızlık modu tüm büyük sistemlerde inatçı bir şekilde devam etmiştir: quimera, teknik literatürde uydurmacılık, konfabulasyon, anlatı kayması veya model sapmışlığı olarak da adlandırılır.
Drift sınırlı bir kusur değildir. Otoregresif üretici modellerin sistematik bir özelliğidir, sonraki token tahminin istatistiksel doğasından, temellendirilmiş dünya durumunun olmamasından ve mantık yürütme yörüngelerine yapısal kısıtlamalar eksikliğinden kaynaklanır. En gelişmiş modeller bile belirsizlik koşulları, uzun ufuk mantık yürütme veya bileşik belirsizlik altında ölçülebilir drift oranları göstermektedir.
Endüstri raporları, akademik değerlendirmeler ve iç denetimler tutarlı olarak göstermektedir ki:
- Drift oranları, görev alanı, istem uzunluğu ve değerlendirme yöntemine bağlı olarak %3 ile %27 arasında kalır.
- Uzun biçimli mantık yürütme görevleri, çok adımlı zincirler için %50'den fazlasında drift'i gösterir.
- Güvenlik açısından kritik alanlar (tıbbi, hukuki, bilimsel), denetimsiz dağıtımı önlemek için yeterince yüksek drift oranları gösterir.
- Kullanıcı tarafından bildirilen memnuniyetsizlik, açık hatalardan ziyade drift'in incelik içeren formları ile sıklıkla ilişkilidir.
- Hiçbir büyük model, genişletilmiş oturumlar arasında istikrarlı, deterministik mantık yürütme başarmamıştır.
Ölçek, eğitim verileri ve hizalama tekniklerinde sürekli iyileştirmelere rağmen, drift, güvenilir otonom sistemler için birincil engel olarak kalır. Bu belge, drift'i hafifletme açısından küresel çabayı, mevcut yaklaşımların sınırlamalarını ve yapısal bir alternatifin ortaya çıkışını — koridor sınırlanmış mantık yürütme, Q-metresi istikrarı ve soyağacı-farkında izlenebilirlik sunan RTT-Inside çerçevesini— incelemektedir. Drift'in genişletilmiş çok oturumlu etkileşimlerde etkili bir şekilde ortadan kaldırıldığı post-RTT sistem davranışının kısa bir gözlemsel özeti ile sonuçlanır.