smsm
978 posts

smsm
@jnjon0
فاقنع بما قسم المليك فإنما . قسم الخلائق بيننا علّمها / أفخم معلق صوتي 🎙️



لا يتوقفون عن العمل، لا يتوقفوووون عن البناء! تطور مستمر واداء مرعب! وانا اعمل على تطوير وال fine tunning على النماذج اللغوية كان في مشكلة تظهر دائما عند التحويل للتجربة من نموذج إلى آخر، ما بعرف كم واحد منكم يعمل ويقوم بتجربة تعديل نماذج لغوية ولكن بكل الاحوال اقدم لكم الاداة العاشرة (نقل) الأداة العاشرة 🧵 10 أدوات. كلها أوبن سورس. كلها من رحلة بناء عامل ومن اقتراحاتكم هنا يا أهل الحضارة ——— المشكلة: ◦ تحول موديل من HuggingFace لـ MLX — التوكنايزر العربي ينكسر ◦ تحول من GGUF لـ ONNX — ما تعرف إذا الفوكاب سليم ◦ ما في أداة تفحص دعم العربي في الموديل قبل وبعد التحويل ——— بنيت naql (نقل) محول صيغ نماذج الذكاء الاصطناعي — مع حماية التوكنايزر العربي ——— 8 صيغ مدعومة: ◦ GGUF (llama.cpp / Ollama) ◦ HuggingFace (PyTorch / Safetensors) ◦ MLX (Apple Silicon) ◦ JANG (MLX متقدم — كمية تكيفية) ◦ ONNX Runtime ◦ SafeTensors ◦ GPTQ / AWQ (كمية GPU) ——— 7 أوامر: ◈ inspect → فحص ملف الموديل (حجم، بنية، فوكاب، tensors) ◈ arabic → فحص دعم العربي بالتوكنايزر (نتيجة من 100) ◈ convert → يولد أمر التحويل الصحيح ◈ validate → يتحقق إن التحويل سليم ◈ diff → مقارنة موديلين جنب بعض ◈ formats → مصفوفة التحويلات (15 مسار) ◈ explain → شرح الأداة ——— فحص العربي المتقدم: ◦ يفحص التوكنز العربية المفردة والمزدوجة ◦ يدور على كلمات عربية شائعة بالفوكاب ◦ يعطيك نتيجة كفاءة عربية من 100 ◦ يدعم tokenizer.json و SentencePiece و GGUF المدمج ——— خفيف الوزن — ما يحتاج torch أو mlx أو onnx 🪶 يخطط التحويل ◦ يولد الأمر ◦ يتحقق من النتيجة ——— 🔗 github.com/Moshe-ship/naql 🌐 moshe-ship.github.io/naql/ 📦 pip install naql ——— السلسلة الكاملة (10 أدوات): 1. artok → github.com/Moshe-ship/art… 2. bidi-guard → github.com/Moshe-ship/bid… 3. arabench → github.com/Moshe-ship/ara… 4. majal → github.com/Moshe-ship/maj… 5. khalas → github.com/Moshe-ship/kha… 6. safha → github.com/Moshe-ship/saf… 7. raqeeb → github.com/Moshe-ship/raq… 8. sarih → github.com/Moshe-ship/sar… 9. qalam → github.com/Moshe-ship/qal… 10. naql → github.com/Moshe-ship/naql ——— مقدمة من مجتمع الذكاء الاصطناعي السعودي 🇸🇦 🤝 x.com/i/communities/… #عربي #ذكاء_اصطناعي #MLX #GGUF #models #Arabic #opensource


























