ufak AI’dan Türkçe dil modeli

ufakzeka-1

Sıfırdan eğitilmiş, 151M parametreli Türkçe dil modeli. Ağırlıkları ve eğitim tarifi açık; Apache-2.0 lisanslı.

Özet
  • 151Mparametre
  • 13,5 milyarön eğitim tokenı
  • < 300 $toplam maliyet
  • Apache-2.0lisans
Örnekler5gerçek sohbet, olduğu gibi

Modelle örnek sohbetler

ufakzeka-1
merhaba ben Elif
Memnun oldum, Elif!
Kerem adında bir çocuk hakkında üç cümlelik bir masal anlat
Kerem, köy evinin bahçesinde oynarken çiçeklerin arasına saklandı. Biraz sonra gözleri görünmüyordu. Yoktu! Kerem çok üzüldü. Yapraklara baktı, toprağa baktı, ama bir türlü bulamadı. Sonra küçük bir karınca gördü. Karınca bir şeyler arıyordu. Kerem merakla karıncayı takip etti. Karınca büyük bir yaprağın altında kalmış! Uçamıyordu çünkü ağırlaşmış. Kerem üzüldü. Karınca, 'Yardım edin,' dedi. Kerem önce korktu, ama sonra cesaretini topladı. Yavaşça karıncayı avucuna aldı. Yaprağı dikkatlice karıncanın üstüne koydu. Karınca havalanıp uçmayı denedi. Çok mutlu oldu! 'Teşekkürler Kerem!' dedi. Kerem ve karınca bahçede birlikte oynadılar. Çiçeklerin yanından koştular, kelebekleri takip ettiler. Güneş batarken Kerem annesine koştu. 'Bahçedeki maceramı anlatmıştım,' dedi. Annesi onu kucakladı. Kerem o gün öğrendi ki, korktuğunda bile yardım istemekten çekinmemek gerekir. Ve bir minik canlının, büyük bir dostluk gösterebileceğini gördü. Artık her akşam bahçede bugünü birlikte kutluyorlar.
benim adım ne
Elif. Sohbetin başında söylemiştin.

Model çıktıları olduğu gibi verilmiştir; sıcaklık 0, düzenleme yok.

Değerlendirme7görev, tek düzenek, 5 model

Aynı düzenekte ölçüldü

Kendi modellerimizi ve karşılaştırdığımız modelleri aynı düzenekle ölçtük. Tablodaki beş model yedi görevin dördünde rastgele tahminin belirgin biçimde üstüne çıkmakta, üçünde ise ona yakın kalmaktadır. Bu dört görevden ARC-e ve XCOPA’da ufakzeka-1, kendisinin beş katı büyüklüğündeki Türkçe modellerin üç puandan az gerisinde; dil bilgisini ölçen TurBLiMP’te ise 5 ile 8 puan gerisindedir.

ufakzeka-1151MQwen2.5-0.5B494MKanarya750Mturkish-gpt2-large774M

Taşlar parametre sayısıyla orantılıdır.

ModelParametreHellaSwagARC-cARC-eXCOPABelebeleTurBLiMPTurkishMMLU
ufakzeka-1151M33.227.638.859.827.490.123.3
ufakzeka-1-base151M35.327.639.160.027.692.419.2
Kanarya-750M750M37.826.541.461.223.495.316.2
turkish-gpt2-large774M35.325.440.460.622.498.219.0
Qwen2.5-0.5B494M29.223.628.654.629.970.018.2
Rastgele tahmin25252550255020

Bütün modeller aynı düzenekle ve örnek gösterilmeden (zero-shot) ölçülmüştür; puan, modelin doğru seçeneği en olası bulduğu soruların yüzdesidir. HellaSwag ve ARC için uzunluğa göre normalize edilmiş doğruluk (length-normalised accuracy), diğerleri için ham doğruluk kullanılmıştır. TurBLiMP 16 alt kümenin, TurkishMMLU 9 alanın ortalamasıdır. Ayrıntılar model kartındadır.

Maliyet286 $toplam harcama

Para nereye gitti

Ön eğitim (GPU)13,5 milyar token · H100
$66
İnce ayar ve değerlendirme (GPU, Colab)SFT · tarama · kabul testleri · L4 / L40S / H100 · Colab
$183
Veri üretimi ve değerlendirici model (API)LLM API
$37
Toplam
$286

Toplam ve API tutarı faturalardan alındı; ön eğitim tutarı çalışma saatlerinin liste fiyatıyla hesaplandı, ince ayar ve değerlendirme kalan tutardır. Ön eğitim ağustosta, ince ayar ve ölçümler eylülde yapıldı. Ayrıntılı harcama defteri repoda bulunmaktadır.

Sınırlar5ölçülmüş sınır, kartta da yazılı

Neyi yapamaz

  • Bilmediği bilgileri uydurur. Ankara–İstanbul mesafesini sorarsanız bilmediğini söylemek yerine bir sayı verir. Yalnızca öğretildiği konularda “bilmiyorum” der: saat, tarih, hava, haber, fiyat, kişisel bilgi, gelecek. Yemek tariflerindeki ölçüler de güvenilir değildir.
  • Kod yazamaz. Python istediğinizde düzyazı üretir.
  • Aritmetiği tek soruda, adımlarını yazarak yapar. Aynı hesabı “emin misin” diye sorarsanız işlemi doğru tekrarlayıp sonuç satırına yanlış sayı yazabilir. Her mesajda tek hesap sorun.
  • Uzun bir hikâyeden sonra kimin kim olduğunu karıştırabilir: 200 sohbet üzerinde yapılan denemede 38 sohbette kullanıcının adını hikâyedeki bir adla karıştırdı ya da daha önce söylenen adı kullanmayı sürdürdü.
  • 2026 yazından sonrasını bilmez.
Kullanım196 MBq8_0, sıradan bir dizüstünde çalışır

Çalıştırın

Mimari standart Qwen3’tür; transformers ile ek kod gerekmez. GGUF dosyaları için llama.cpp’ye küçük bir tokenizer yaması uygulamanız gerekir; ayrıntılar dokümantasyondadır.

llama-cli -m ufakzeka-1-q8_0.gguf --temp 0.3 --top-k 40 --top-p 0.9 --repeat-penalty 1.0 --dry-multiplier 0 -n 520