واجهات LLM

ليس هناك الكثير可供选择 ولكن ما زال هناك...

Page content

عندما بدأت بتجربة النماذج الكبيرة للغة (LLMs)، كانت واجهات المستخدم الخاصة بها في التطوير النشط، و اليوم أصبحت بعضها جيدة حقًا.

!- Jan - واجهة مستخدم متعددة المنصات للنماذج الكبيرة للغة(jan-site_w678.jpg Jan - واجهة مستخدم للنماذج الكبيرة للغة - تثبيت)

Jan

Jan(https://jan.ai/) متاح لنظامي ويندوز، لينكس، و ماك.

يحتوي على موضوعات مظلمة، مشرقة، وشفافة.

!- واجهة Jan للنماذج الكبيرة للغة - نافذة رئيسية(jan-self_w678.jpg Jan - واجهة مستخدم للنماذج الكبيرة للغة - مثال على رد على سبب التثبيت الذاتي)

يمكنه الاتصال ببعض الخوادم الموجودة بالفعل مثل Anthropic، Cohere، OpenAI، NvidiaNIM، MistralAI وغيرها، ويمكنه استضافة النماذج الخاصة به - راجع قسم Cortex في الصورة أدناه - والتي تظهر Jan قد تم تحميلها واستضافتها محليًا Llama3 8b q4 و Phi3 medium (q4).

!- واجهة Jan للنماذج الكبيرة للغة - خيارات التكوين(jan-config_w678.jpg Jan - واجهة مستخدم للنماذج الكبيرة للغة - خيارات التكوين)

المزايا (ما أحببته):

واجهة سهلة الاستخدام
القدرة على التجربة مع درجة حرارة النموذج، و topp، و العقوبات على التكرار والوجود، ونصوص النظام.
يوفر خادم API

العيوب:

بطيء بطريقة ما على نظامي التشغيل القائم على ubuntu. على ويندوز كان يعمل بشكل جيد.
يمكن الاتصال بعديد من الخوادم، لكنها جميعها مدارة. سيكون من الرائع استخدام خيار Ollama.
عدد قليل من نسخ النماذج المتاحة للاستضافة الذاتية في Cortex. عدد خيارات التكميم ليس كبيرًا أيضًا.
نعم، Huggingface gguf رائع جدًا. لكنني أردت
- إعادة استخدام ما تم تنزيله بالفعل بواسطة ollama وتحميله إلى VRAM
- عدم استضافة نفس النموذج في كل مكان

KoboldAI

واحد بارز جدًا

Silly Tavern

واحد آخر قابل للتكيف بشكل كبير

LLM Studio

LLM Studio ليس واجهة مستخدمي LLM المفضلة لدي، لكنها توفر وصولًا أفضل إلى نماذج Huggingface.

Ollama من سطر الأوامر

نعم، هذا أيضًا واجهة مستخدم، مجرد واجهة مستخدم من سطر الأوامر.

تحتاج للتشغيل لنموذج llama3.1:

ollama run llama3.1

عند الانتهاء، أرسل أمرًا للخروج من واجهة Ollama من سطر الأوامر:

/bye

cURL Ollama

تثبيت cUrl إذا لم تقم بذلك بعد

sudo apt-get install curl

للمطالبة بنموذج mistral nemo q8 المضيف محليًا على Ollama - أنشئ ملفًا محليًا يحتوي على النص p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: ما هو ما بعد الحداثة؟,
  stream: false
}

والآن قم بتشغيله في نافذة bash:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

النتيجة ستكون في الملف p-result.json

إذا كنت ترغب فقط في طباعة النتيجة:

curl -X POST http://localhost:11434/api/generate -d @p.json

أيضًا:

لم أختبر هذه، لكنها قائمة شاملة جدًا من واجهات المستخدم للنماذج الكبيرة للغة:

Jan