एलईएम फ्रंटएंड्स

कुछ कम विकल्प हैं लेकिन फिर भी....

Page content

जब मैंने LLMs के साथ प्रयोग शुरू किया तो उनके UIs गतिशील विकास में थे और अब कुछ बहुत अच्छे हैं।

!- जन - LLMs के लिए मल्टीप्लेटफॉर्म UI(jan-site_w678.jpg जन - LLMs के लिए फ्रंटएंड - इंस्टॉल)

जन

जन(https://jan.ai/) विंडोज़, लिनक्स और मैक के लिए उपलब्ध है।

हल्के, गहरे और पारदर्शी थीम हैं।

!- जन LLM फ्रंटएंड - मुख्य विंडो(jan-self_w678.jpg जन - LLMs के लिए फ्रंटएंड - आत्म-होस्ट करने के उदाहरण के लिए क्यों स्वयं होस्ट करें)

कई मौजूदा बैकएंड्स जैसे एंथ्रोपिक, कोहेर, ओपनएआई, नविडिया एनआईएम, मिस्ट्रलएआई आदि से जोड़ सकता है, और अपने आप पर मॉडल होस्ट कर सकता है - नीचे के स्क्रीनशॉट में कॉर्टेक्स खंड देखें - जन द्वारा डाउनलोड किया गया और स्थानीय रूप से लम्बा3 8b q4 और फ़ि3 मीडियम (q4) होस्ट कर रहा है।

!- जन LLM फ्रंटएंड - कॉन्फिग विकल्प(jan-config_w678.jpg जन LLM फ्रंटएंड - कॉन्फिग विकल्प)

लाभ (जो मुझे पसंद आया):

अंतर्ज्ञात इंटरफेस
मॉडल तापमान, टॉप, आवृत्ति और उपस्थिति दंड और सिस्टम प्रोम्प्ट के साथ प्रयोग करने की क्षमता।
एपीआई सर्वर प्रदान करता है

अवसर (मुझे पसंद नहीं आया):

कुछ तरह से मेरे आधारित उबंटू ओएस पर धीमा। विंडोज़ पर यह ठीक चल रहा था।
कई बैकएंड्स से जोड़ सकता है, लेकिन सभी व्यवस्थित हैं। ओलामा विकल्प का उपयोग करना अच्छा होता।
कॉर्टेक्स में स्वयं होस्ट करने के लिए मॉडल के विकल्पों की संख्या कम है। अत्यधिक क्वांटाइजेशन विकल्प भी नहीं हैं।
हां, हुग्गिंगफेस गगुफ बहुत अच्छा है। लेकिन मुझे चाहिए
- ओलामा द्वारा पहले से डाउनलोड किए गए लोड करे वीआरएएम में दोहरा उपयोग करना
- सभी जगह एक ही मॉडल होस्ट न करें

कोबोल्डएआई

एक बहुत महत्वपूर्ण एक

सिली टेवर्न

एक और बहुत अधिक विविध एक

एलएलएम स्टूडियो

एलएलएम स्टूडियो मेरा पसंदीदा एलएलएम इंटरफेस नहीं है, लेकिन हुग्गिंगफेस मॉडल्स के लिए बेहतर पहुंच है।

कमांडलाइन ओलामा

हां, वह भी एक उपयोगकर्ता इंटरफेस है, बस एक कमांडलाइन वाला।

लम्बा3.1 एलएलएम के लिए चलाने की आवश्यकता है:

ollama run llama3.1

जब तैयार हो जाए, तो ओलामा कमांडलाइन से बाहर निकलने के लिए एक आदेश भेजें:

/bye

सीयूआरएल ओलामा

अगर आपने अभी तक करूल को इंस्टॉल नहीं किया है तो इंस्टॉल करें

sudo apt-get install curl

ओलामा पर मेस्ट्रल नेमो क्यू8 एलएलएम को कॉल करने के लिए - लोकल फ़ाइल बनाएं जिसमें प्रॉम्प्ट p.json है:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

अब बैश टर्मिनल में निष्पादित करें

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

परिणाम p-result.json फ़ाइल में होगा

अगर आपको केवल परिणाम प्रिंट करना है:

curl -X POST http://localhost:11434/api/generate -d @p.json

भी:

मैंने इन्हें परीक्षण नहीं किया है, लेकिन एलएलएम इंटरफेस के एक बहुत व्यापक सूची है:

जन

कोबोल्डएआई

सिली टेवर्न

एलएलएम स्टूडियो

कमांडलाइन ओलामा

सीयूआरएल ओलामा

भी:

उपयोगी लिंक