LLM-frontends

Niet zo veel om uit te kiezen, maar toch...

Inhoud

Toen ik begon met het experimenteren met LLMs waren de UIs voor hen actief in ontwikkeling en nu zijn sommige van hen echt goed.

!- Jan - multiplatform ui voor LLMs(jan-site_w678.jpg Jan - Frontend voor LLMs - install)

Jan

Jan(https://jan.ai/) is beschikbaar voor Windows, Linux en Mac.

Heeft donkere, lichte en transparante thema’s.

!- Jan LLM frontend - hoofdvenster(jan-self_w678.jpg Jan - Frontend voor LLMs - voorbeeld van antwoord op waarom selfhost)

Kan verbinden met verschillende bestaande backends zoals Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI enz., en host modellen op eigen rekenkracht - zie de Cortex sectie op het scherm hieronder - tonen Jan gedownload en lokaal hosten Llama3 8b q4 en Phi3 medium (q4).

!- Jan LLM frontend - configuratieopties(jan-config_w678.jpg Jan LLM frontend - configuratieopties)

Voordelen (Wat ik leuk vond):

Intuïtieve interface
Mogelijkheid om te experimenteren met modeltemperatuur, topp, frequentie en aanwezigheidstrafte en systeemprompts.
Biedt API-server

Nadelen:

Op mijn ubuntu-gebaseerde os is het op een of andere manier traag. Op Windows liep het wel goed.
Kan verbinden met veel backends, maar allemaal zijn ze beheerd. Het zou fijn zijn om de Ollama optie te kunnen gebruiken.
Niet veel varianten van modellen beschikbaar voor zelfhosting in Cortex. Er zijn ook niet veel quantisatieopties.
Ja, Huggingface gguf is geweldig. Maar ik wilde
- hergebruik wat ollama al had gedownload en in VRAM had geladen
- niet dezelfde model overal hosten

KoboldAI

Een zeer prominente optie

Silly Tavern

Een andere zeer veelzijdige optie

LLM Studio

LLM Studio is niet mijn favoriete UI voor LLMs, maar het heeft betere toegang tot Huggingface modellen.

Commandline Ollama

Ja, dat is ook een gebruikersinterface, gewoon een commandline-variant.

Om te draaien voor llama3.1 LLM:

ollama run llama3.1

wanneer klaar, stuur een opdracht om uit te stappen uit de Ollama commandline:

/bye

cURL Ollama

Installeer cUrl als je dat nog niet hebt gedaan

sudo apt-get install curl

Om een lokale mistral nemo q8 llm te roepen die op Ollama wordt gehost - maak een lokale bestand met de prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Wat is post-modernisme?,
  stream: false
}

en voer nu uit in de bash-terminal

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

het resultaat zal in het bestand p-result.json staan

als je alleen het resultaat wilt afdrukken:

curl -X POST http://localhost:11434/api/generate -d @p.json

Ook:

Ik heb deze niet getest, maar het is een vrij uitgebreide lijst van LLM UIs:

Jan