ufak AI’dan Türkçe dil modeli
ufakzeka-1
Sıfırdan eğitilmiş, 151M parametreli Türkçe dil modeli. Ağırlıkları ve eğitim tarifi açık; Apache-2.0 lisanslı.
ufak AI’dan Türkçe dil modeli
Sıfırdan eğitilmiş, 151M parametreli Türkçe dil modeli. Ağırlıkları ve eğitim tarifi açık; Apache-2.0 lisanslı.
Kendi modellerimizi ve karşılaştırdığımız modelleri aynı düzenekle ölçtük. Tablodaki beş model yedi görevin dördünde rastgele tahminin belirgin biçimde üstüne çıkmakta, üçünde ise ona yakın kalmaktadır. Bu dört görevden ARC-e ve XCOPA’da ufakzeka-1, kendisinin beş katı büyüklüğündeki Türkçe modellerin üç puandan az gerisinde; dil bilgisini ölçen TurBLiMP’te ise 5 ile 8 puan gerisindedir.
Taşlar parametre sayısıyla orantılıdır.
| Model | Parametre | HellaSwag | ARC-c | ARC-e | XCOPA | Belebele | TurBLiMP | TurkishMMLU |
|---|---|---|---|---|---|---|---|---|
| ufakzeka-1 | 151M | 33.2 | 27.6 | 38.8 | 59.8 | 27.4 | 90.1 | 23.3 |
| ufakzeka-1-base | 151M | 35.3 | 27.6 | 39.1 | 60.0 | 27.6 | 92.4 | 19.2 |
| Kanarya-750M | 750M | 37.8 | 26.5 | 41.4 | 61.2 | 23.4 | 95.3 | 16.2 |
| turkish-gpt2-large | 774M | 35.3 | 25.4 | 40.4 | 60.6 | 22.4 | 98.2 | 19.0 |
| Qwen2.5-0.5B | 494M | 29.2 | 23.6 | 28.6 | 54.6 | 29.9 | 70.0 | 18.2 |
| Rastgele tahmin | 25 | 25 | 25 | 50 | 25 | 50 | 20 |
Bütün modeller aynı düzenekle ve örnek gösterilmeden (zero-shot) ölçülmüştür; puan, modelin doğru seçeneği en olası bulduğu soruların yüzdesidir. HellaSwag ve ARC için uzunluğa göre normalize edilmiş doğruluk (length-normalised accuracy), diğerleri için ham doğruluk kullanılmıştır. TurBLiMP 16 alt kümenin, TurkishMMLU 9 alanın ortalamasıdır. Ayrıntılar model kartındadır.
Toplam ve API tutarı faturalardan alındı; ön eğitim tutarı çalışma saatlerinin liste fiyatıyla hesaplandı, ince ayar ve değerlendirme kalan tutardır. Ön eğitim ağustosta, ince ayar ve ölçümler eylülde yapıldı. Ayrıntılı harcama defteri repoda bulunmaktadır.
Mimari standart Qwen3’tür; transformers ile ek kod gerekmez. GGUF dosyaları için llama.cpp’ye küçük bir tokenizer yaması uygulamanız gerekir; ayrıntılar dokümantasyondadır.
llama-cli -m ufakzeka-1-q8_0.gguf --temp 0.3 --top-k 40 --top-p 0.9 --repeat-penalty 1.0 --dry-multiplier 0 -n 520