LLM-Frontends

Nicht so viele zur Auswahl, aber dennoch...

Inhaltsverzeichnis

Als ich begann, mit LLMs zu experimentieren, waren die Benutzeroberflächen für sie noch in aktiver Entwicklung, und heute sind einige von ihnen wirklich gut.

!- Jan - multiplatform ui for LLMs(jan-site_w678.jpg Jan - Frontend für LLMs - install)

Jan

Jan(https://jan.ai/) ist für Windows, Linux und Mac verfügbar.

Es bietet dunkle, helle und transparente Themen.

!- Jan LLM frontend - main window(jan-self_w678.jpg Jan - Frontend für LLMs - Beispiel für Antwort auf „warum selbsthosten“)

Kann sich mit mehreren bestehenden Backend-Systemen wie Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI usw. verbinden und kann Modelle selbst hosten – siehe den Cortex-Teil auf dem Screenshot unten – zeigt Jan heruntergeladen und lokal gehostete Llama3 8b q4 und Phi3 medium (q4).

!- Jan LLM frontend - config options(jan-config_w678.jpg Jan LLM frontend - config options)

Vorteile (Was ich mochte):

Intuitive Benutzeroberfläche
Möglichkeit, mit Modelltemperaturen, topp, Frequenz- und Präsenzstrafen sowie Systemprompts zu experimentieren.
Bietet einen API-Server

Nachteile:

Auf meinem ubuntu-basierten Betriebssystem ist es irgendwie langsam. Auf Windows lief es gut.
Kann sich mit vielen Backends verbinden, aber alle sind verwaltet. Es wäre schön, die Option Ollama zu nutzen.
Nicht viele Modellevarianten sind für die Selbsthostung in Cortex verfügbar. Auch die Quantisierungsoptionen sind nicht sehr zahlreich.
Ja, Huggingface gguf ist großartig. Aber ich wollte
- die Modelle wiederverwenden, die Ollama bereits heruntergeladen und in die VRAM geladen hat
- nicht überall das gleiche Modell hosten

KoboldAI

Sehr prominent

Silly Tavern

Ein weiterer sehr vielseitiger

LLM Studio

LLM Studio ist nicht meine bevorzugte Benutzeroberfläche für LLMs, aber es bietet besseren Zugriff auf Huggingface-Modelle.

Commandline Ollama

Ja, das ist auch eine Benutzeroberfläche, nur eine Kommandozeilen-Option.

Um für llama3.1 LLM zu starten:

ollama run llama3.1

wenn fertig, senden Sie den Befehl, um die Ollama-Kommandozeile zu verlassen:

/bye

cURL Ollama

Installieren Sie cUrl, falls Sie dies noch nicht getan haben

sudo apt-get install curl

Um einen lokalen mistral nemo q8 llm, der auf Ollama gehostet wird, aufzurufen – erstellen Sie eine lokale Datei mit dem Prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Was ist Postmodernismus?,
  stream: false
}

und führen Sie nun im Bash-Terminal aus:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

das Ergebnis wird in der Datei p-result.json

wenn Sie nur das Ergebnis ausgeben möchten:

curl -X POST http://localhost:11434/api/generate -d @p.json

Auch:

Ich habe diese nicht getestet, aber es ist eine umfassende Liste von LLM-Benutzeroberflächen:

Jan