Frontend LLM

Tidak terlalu banyak pilihan, tetapi tetap....

Konten Halaman

Saat saya mulai bereksperimen dengan LLM, UI-nya sedang dalam pengembangan aktif dan sekarang beberapa dari mereka benar-benar bagus.

!- Jan - antarmuka multiplatform untuk LLMs(jan-site_w678.jpg Jan - Frontend untuk LLMs - install)

Jan

Jan(https://jan.ai/) tersedia untuk Windows, Linux dan Mac.

Memiliki tema gelap, terang, dan transparan.

!- Jan LLM frontend - jendela utama(jan-self_w678.jpg Jan - Frontend untuk LLMs - contoh respons terhadap mengapa selfhost)

Dapat terhubung ke beberapa backend yang sudah ada seperti Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI, dll, dan menyelenggarakan model sendiri - lihat bagian Cortex pada screenshot di bawah ini - menunjukkan Jan yang telah diunduh dan menyelenggarakan secara lokal Llama3 8b q4 dan Phi3 medium (q4).

!- Jan LLM frontend - opsi konfigurasi(jan-config_w678.jpg Jan LLM frontend - opsi konfigurasi)

Kelebihan (Apa yang saya sukai):

Antarmuka yang intuitif
Kemampuan untuk bereksperimen dengan suhu model, topp, frekuensi dan hukuman presensi serta prompt sistem.
Menyediakan server API

Kekurangan:

Secara tidak langsung lambat di sistem operasi berbasis ubuntu. Di windows berjalan dengan baik.
Dapat terhubung ke banyak backend, tetapi semua diatur. Akan lebih baik jika bisa menggunakan opsi Ollama.
Tidak banyak variasi model yang tersedia untuk self-hosting di Cortex. Tidak terlalu banyak opsi kuantisasi juga.
Ya, Huggingface gguf sangat hebat. Tapi saya ingin
- memanfaatkan apa yang sudah diunduh oleh ollama dan dimuat ke VRAM
- tidak menyelenggarakan model yang sama di mana-mana

KoboldAI

Sangat menonjol

Silly Tavern

Satu lagi yang sangat fleksibel

LLM Studio

LLM Studio bukan UI favorit saya untuk LLM, tetapi memiliki akses yang lebih baik ke model Huggingface.

Commandline Ollama

Ya, itu juga antarmuka pengguna, hanya berupa commandline.

Untuk menjalankan LLM llama3.1:

ollama run llama3.1

ketika selesai, kirim perintah untuk keluar dari commandline ollama:

/bye

cURL Ollama

Pasang cUrl jika Anda belum melakukannya

sudo apt-get install curl

Untuk memanggil llm mistral nemo q8 yang diselenggarakan secara lokal di ollama - buat file lokal dengan prompt p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: Apa itu post-modernisme?,
  stream: false
}

dan sekarang jalankan di terminal bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

hasilnya akan berada di file p-result.json

jika Anda hanya ingin mencetak hasilnya:

curl -X POST http://localhost:11434/api/generate -d @p.json

Juga:

Belum diuji, tetapi daftar yang cukup komprehensif dari UI LLM:

Jan