Aydın Han

Kumru’nın misyonu beni çok mutlu etti. O nedenle naçizane bir katkım olsun istedim. Kumru 2B-Base modelini basit’ten zora doğru şaşırtmalı türkçe soru setleri ile test etmeye ve modelin giriş çıkış katmanları, CoT yetenekleri ile context bağlam sorunlarını analiz etmeye başladım. Ardından en uygun dataseti hazırlayıp hem CPT hemde SFT ile train edeceğim. Hazırladığım dataset ve model çıktılarını huggingface’imde paylaşıyor olacağım. 🙏🏻🧡 Lokalimdeki kendi geliştirdiğim LLM Distill odaklı Otonom RLHF (SEAL benzeri bir kurgu kullandım) ile de state-of-art modellere değerlendirmeler yaptırarak yoğun bir pekiştirmeli eğitim vereceğim. Bence Kumru’nun asıl misyonuda buydu. Billion seviyelerindeki eşiği türkçe dataset ile sıfırdan eğiterek aşıp, bizlerle paylaşarak hepimizin destekleriyle iyi bir noktaya gelmesini sağlamak. Baktığımızda zaten llama2’lerden Kimi-K2’lere kadar uzanan open-source’un gücüde bize bunu gösteriyor. Umarım katma değerli işler çıkar. Ben şahsen 2x5090’ı birkaç hafta Kumru’ya odaklayacağım. 🔥

Günü 160.000 ile kapattık. Bunun 60.000’i son 3 saatte yapıldı.

Öncelikle Kumru’ya gösterdiğiniz yoğun ilgi için çok teşekkür ederiz. Biz de bu kadarını beklemiyorduk, çok mutlu olduk. Ek olarak Kumru ile ilgili daha detaylı bilgi vermek ve bazı noktaları netleştirmek istedik. Öncelikle Kumru bir ChatGPT alternatifi değil. Kumru’yu son kullanıcıya yönelik değil kurum içi senaryolar için geliştirmeye devam ediyoruz. Henüz versiyon 0.2.1 ve şu an için yetkinlikleri sınırlı. Web sayfası Kumru’yu sadece denemek için hazırlanmış bir arayüz, ürünün kendisi değil. Bu sebeple lütfen Kumru’dan ChatGPT’nin yaptığı şeyleri beklemeyin, yetkinlikleri ve yapım amaçları farklı. Kumru’nun matematiğinin zayıf olması konusuna da değinmek isteriz 🙃 Kumru Türkçe yetkinlik için geliştiriliyor, henüz matematiksel işlem ve karar vermek gibi fonksiyonel işlemler için eğitilmedi. Dolayısıyla bu bağlamda da ChatGPT/Gemini alternatifi değil. Altta Kumru’yla ilgili en çok merak edilenleri cevapladık, buyrun flood’ımıza 🐦

Sıfırdan geliştirilen model ne demek?
 Daha önce hiçbir veriye maruz kalmamış bir yapay zeka modelinin sıfırdan inşa edilip tüm eğitim süreçlerinden geçirilip eğitilmesi anlamına geliyor. Yani boş bir arsa alıp üstüne kaba mimari planı olan bir binayı, istediğiniz malzemeyi kullanarak, detay tasarım kararlarını vererek sıfırdan inşa etmeye benziyor.
Bunun alternatifi; LLaMA, Gemma, Qwen gibi aynı anda pek çok dilde eğitilmiş modelleri alıp istenen dilde ya da alanda bir miktar daha eğitmek ve ince ayar yapmak. Bu da hazır bir binayı alıp renove etmeye benzetilebilir, ancak bunun da dezavantajları var ve biz de bu sebeple ilkini seçtik.

Bugün Kumru 100.000 diyalog yapmış.