Teknoloji

Bir disketin içine sığan dil modeli: Tiny 2.1 neler biliyor?

367 bin parametreli Tiny 2.1, 486 ve Pentium'lu DOS makinelerde çalışıyor; 3.500 olguyu biliyor, bilmediği yerde ise uyduruyor.

18 Kasım 20265 dk okuma
Bir disketin içine sığan dil modeli: Tiny 2.1 neler biliyor?

Ekranda neon renkler, sağda canlı bir "sinir monitörü", hoparlörden gelen robot sesi. Soru yazıyorsunuz: "what is the capital of peru". Birkaç saniye sonra cevap harf harf beliriyor. Bütün bunu çalıştıran şey, 1,44 MB'lık bir disketin üçte birine bile tam dolmayan bir yapay sinir ağı ve DOS altında koşan bir program.

Proje Tiny 2.1 adını taşıyor ve GitHub'da WollyMonjac adlı geliştiricinin deposunda duruyor. Hackaday, 18 Kasım 2026 tarihli yazısında projeyi "büyük" kelimesinin artık hiç yakışmadığı bir dil modeli olarak anlatıyor. Merak uyandıran yan, yalnızca küçüklüğü değil: modelin neyi bildiği baştan sona elle belirlenebiliyor.

Reklam

Disketin içinde ne var?

Deponun tanıtım sayfasına göre Tiny 2.1, Turbo C 2.0 ile yazılmış küçük bir soru-cevap transformer'ı. Transformer, bugünkü büyük dil modellerinin de temelindeki mimari: metni parçalara bakarak, her parçanın ötekilerle ilişkisini hesaplayarak işliyor. Fark, ölçekte. Tiny 2.1 yalnızca 367 bin parametreye sahip; yani ağın tüm "bilgisi" 367 bin sayıya sığıyor. Dört katmandan oluşuyor, genişliği 96 ve metni sözcük değil harf harf okuyup yazıyor.

Ağırlıklar 8 bitlik tam sayılarla saklanıyor (her satır için ayrı bir ölçek değeriyle) ve toplam dosya yaklaşık 380 KB tutuyor. Hackaday'in aktardığına göre disketin geri kalanında arayüz programı duruyor. Çalışırken yaklaşık 540 KB boş bellek istiyor. DOS'un klasik 640 KB sınırı düşünülürse bu, neredeyse bütün boş alanı demek.

ÖzellikDeğer
Parametre sayısı367.000
Mimari4 katman, 96 genişlik, harf düzeyinde
Ağırlık dosyasıyaklaşık 380 KB (8 bit)
Gereken boş bellekyaklaşık 540 KB
Hedef makine486DX veya Pentium, DOS
Eğitim verisiyaklaşık 3.500 olgu, çok sayıda soru biçimiyle

Tablodaki değerler projenin GitHub sayfasından ve Hackaday yazısından alındı.

Neler soruyorsunuz, neler cevaplıyor?

Modelin dili İngilizce. Depodaki DOS kılavuzuna göre 194 ülkenin başkenti, kıtası, komşuları, para birimi ve konuşulan dilleri, ABD eyalet başkentleri, 118 kimyasal element, hayvanlarla ilgili bilgiler (yavru adları, çıkardıkları sesler, bacak sayıları), uzay, vücut, bilim, müzik, tarih ve bilgisayar konuları var. Bunların yanında zıt anlamlar, çoğul ve geçmiş zaman biçimleri, Fransızca, Almanca, İspanyolca ve İtalyanca basit sözcükler, küçük toplama ve çıkarma işlemleri, çarpım tablosu, Roma rakamları ve heceleme de bilgi listesinde.

Soruyu bire bir ezberlenmiş kalıpla sormak gerekmiyor. Kılavuz, küçük yazım hatalarının, büyük harf kilidinin ve "please" ya da "hey tiny" gibi eklerin tolere edildiğini söylüyor. Cevabın ne kadar çeşitli olacağı da bir sayıyla ayarlanıyor. Sıfır, en emin cevabı verir; dokuz en çeşitli ama en hatalı olanı. Varsayılan beş.

Arayüz de işin eğlenceli tarafı. Sağdaki monitörde her katmanın o an ne kadar yoğun çalıştığı, modelin seçtiği harften ne kadar emin olduğu (yeşil emin, kırmızı tahmin) ve saniyede kaç harf üretildiği izlenebiliyor. "Ses" ise gerçek konuşma değil. Kılavuzun anlattığına göre PC hoparlöründen her harf için küçük bir sesçik çıkıyor: sesli harfler vızıldıyor, s ve f tıslıyor, p ve t tıkırdıyor. Gerçek bir konuşma sentezinin 640 KB belleğe model yanında sığmayacağı da kılavuzda açıkça yazılı.

Sınırlar: yüzde 61 ve "uydurma" eğilimi

Küçüklüğün bedeli doğruluk. Eğitim kılavuzuna göre model, eğitimde hiç görmediği 780 test sorusunda (yeni ifadeler ve yeni kombinasyonlar) yaklaşık yüzde 61 doğru cevap veriyor. İlk sürüm aynı testte yüzde 6'da kalmıştı. Öğretildiği biçimde sorulan sorularda doğruluk yaklaşık yüzde 90.

Projenin kendi listesine göre en çok zorlandığı alanlar şunlar:

  • Aynı anda iki ülkeyi ilgilendiren sorular ve kıyısı olup olmadığı sorusu
  • Seyrek rastlanan kimyasal elementler ile az bilinen ülkeler
  • Bölme işlemi; toplama, çıkarma ve çarpım tablosu daha iyi. Toplamlar 20 + 20'ye, çarpım tablosu 12'ye kadar
  • Uydurma isimler: modelin "bilmiyorum" demek yerine cevap uydurduğu oluyor

Hackaday da aynı noktaya değiniyor: 3.500 olgunun dışına çıkıldığında model, boyutu ne olursa olsun dil modellerinin vazgeçemediği alışkanlıkla, yani güvenle uydurarak cevap veriyor.

Hız: matematik işlemcisi olan makine şart

Program ondalıklı sayı hesabı kullanıyor. Kılavuza göre matematik yardımcı işlemcisi bulunan makinelerde (her Pentium, 486DX ve 486DX2) cevap birkaç saniyede geliyor. İşlemcisiz makinelerde (386SX, 386DX, 486SX) yardımcı işlemci yazılımla taklit edildiğinden bir cevap dakikalar sürebiliyor.

Bir de makineyi makine yazdı

Hackaday, kodu Fable 5.2 adlı yapay zekânın yazdığını, ağı Opus 5.5'in eğittiğini yazıyor ve "makineler makine yapıyor" yorumunu ekliyor. Deponun kendi tanıtımı da aynı ayrımı yapıyor: yazan Fable 5.2, eğiten Opus 5.5. Eğitim kılavuzuna göre eğitim iki işlemci çekirdeğinde sürdü: bir önceki sürümün ağı 3 katmandan 4 katmana büyütüldü, ardından yeni veri kümelerinde 20 dakikalık, 15 dakikalık, 150 dakikalık ve 180 dakikalık turlar yapıldı. Toplamda yaklaşık 15 milyon örnek gösterildi. Yani sıradan bir işlemciyle yapılabilen bir iş.

Neden ilginç?

Bu proje bir sohbet robotu olarak ciddiye alınmayı hedeflemiyor; Hackaday da onu bir sohbet başlatıcı olarak görüyor. Ama bir fikri somutlaştırıyor: modelin neyi bildiğini önceden seçebilirseniz, küçük ve denetlenebilir bir uzman elde edebilirsiniz. Depoda gerçekleri, bunlardan soru-cevap çiftleri üreten betiği ve PyTorch eğitim kodunu bulmak mümkün; kendi olgularınızı ekleyip yeniden eğitebiliyor ve çıkan dosyayı aynı program okuyor. Kod MIT lisanslı. Üç veri dosyası ise kamuya açık veri kümelerinden türetildiği için kendi lisanslarını (ODbL ve CC BY-SA) koruyor.

Daha önce 486 üzerinde Llama 2 çalıştırma denemeleri olmuştu; Tiny 2.1 ise tersini yapıyor: modeli makineye sığacak kadar küçültüp bilgisini baştan kuruyor. Açık soru şu: bu kadar küçük bir ağda bilgiyi doğru tutmak ile makul bir dil becerisi arasındaki denge, Türkçe gibi eklemeli bir dilde nasıl olurdu?

Fotoğraf: User:Iswoar, CC BY 3.0, Wikimedia Commons

Haberi beğendin mi?
PaylaşWhatsAppXFacebook
Teknoloji Masası

Bu içerik, Yudum Teknoloji Masası editör ekibi tarafından derlenip yayına hazırlanmıştır. Güncel gelişmeler için haber akışını takip edebilirsiniz.

Reklam
50,4455,3466,55İstanbul17°

Yudum Dünyası

Kaf Dağı'nın eteğinde bir köy var.

Karakterini yarat, meydanda dolaş, buradakilerle yüz yüze tanış. Tarayıcında, ücretsiz.

  • 🧑 Karakterini yarat
  • 🎲 Kahvede bir el at
  • 🏠 Grubunla ev kur
Günün testiHangi Türk şairine benziyorsun?Kelimelerle aran nasıl? Altı soruda seni bir şaire benzetiyoruz — sonunda o şairin sayfasına da…
Günün burcuAkrepBugün Akrep burcu için içsel gücün ve sezgilerin ön plana çıktığı, enerjisi yüksek bir gün başlıyor.…

Günün sorusu

"Kızıl gezegen" olarak bilinen gezegen hangisidir?

Haftanın düellosu
Yudum DünyasıKaf Dağı'nın eteğinde bir köy seni bekliyor.Ücretsiz katıl →