Versatil 3

Versatil 3, Versatil’in bir sonraki büyük adımı. V4.1’in neredeyse iki katı parametre, iki katından fazla sözlük ve iki dil: Türkçe ve İngilizce.

Bu sayfadaki bütün model sayıları elle yazılmadı. Site derlenirken Rust, mimari ayarlarından parametreleri tek tek sayıyor; toplam, hedeflenen 999.904.768 ile birebir tutuyor.

Kararlar, tek tek

Gruplu sorgu dikkati. 24 sorgu başı yalnızca 4 anahtar/değer başını paylaşıyor; yukarıdaki çizimde her sorgu başı bağlı olduğu KV başına iniyor. Uzun bağlamda belleği en çok KV önbelleği yer. GQA onu 6 kat küçültüyor: 16.384 tokenlık bağlamın tamamı 512 MiB.

QK-Norm. Dikkat skorları hesaplanmadan önce sorgu ve anahtar vektörleri normalize ediliyor. Amaç büyük modelde eğitimi kararlı tutmak.

Ortak gömme. Girişteki token gömmesi ile çıkıştaki katman aynı ağırlığı kullanıyor. 100 bin tokenlık sözlükte bu, ayrı bir çıkış katmanına harcanacak 153,6 milyon parametre demek.

Daha büyük sözlük. 48 binden 100 bine çıkıyor; model artık iki dil konuşacak. Eski tokenizer’lara dokunulmuyor, V3’ün sözlüğü ayrı.

Uzun bağlam. 16.384 token, RoPE konum kodlamasıyla.

Veri

Uzun vadeli hedef 100 milyar kaliteli token. Bu bir parametre sayısı değil, modelin okuyacağı metin miktarı. Toplama R18. tura ulaştı; daha önceki bir aşamada yaklaşık 189 milyon token vardı.

Kurallar

Versatil 2 tamamen salt okunur. Hiçbir checkpoint’in üzerine yazılmıyor, eski tokenizer’lar değiştirilmiyor, eğitim verisi silinmiyor ve karantinaya alınmış veriyle eğitim yapılmıyor. Her yeni iş ayrı, sürümlü bir klasörde.

Eğitim sonucu da uydurulmuyor. Bu sayfada henüz bir başarı oranı yoksa sebebi bu: tam eğitim bitmedi.

Nerede çalışacak

Kâğıt üzerinde: 4 bitlik ağırlıklar yaklaşık 536 MiB, tam bağlamda KV önbelleği 512 MiB. Yani çıkarım için model 6 GB’lık bir dizüstü ekran kartına sığacak boyutta. Eğitim başka bir hikâye; orada gradyanlar ve optimizer durumu da belleğe giriyor.