LLMフロントエンド

選択肢は多くないが、それでも……。

目次

LLM（大規模言語モデル）のUI（ユーザーインターフェース）に初めて触れた時、それらは積極的に開発中で、今ではいくつかは本当に優れたものとなっています。

!- Jan - LLM用のマルチプラットフォームUI(jan-site_w678.jpg Jan - LLM用のフロントエンド - インストール)

Jan

ダークモード、ライトモード、透過モードのテーマが利用可能です。

!- Jan LLMフロントエンド - メインウィンドウ(jan-self_w678.jpg Jan - LLM用のフロントエンド - why selfhostへの返信の例)

Anthropic、Cohere、OpenAI、NvidiaNIM、MistralAIなど、いくつかの既存のバックエンドに接続できます。また、独自のモデルをホストすることも可能です。以下に示すスクリーンショットの「Cortex」セクションに、JanがローカルでLlama3 8b q4とPhi3 medium (q4)をダウンロードしてホストしている様子が表示されています。

!- Jan LLMフロントエンド - 設定オプション(jan-config_w678.jpg Jan LLMフロントエンド - 設定オプション)

良い点（私が気に入った点）:

  • 直感的なインターフェース
  • モデルの温度、topp、頻度、存在ペナルティ、システムプロンプトの実験が可能
  • APIサーバーを提供

悪い点:

  • なぜか、私のUbuntuベースのOSでは少し遅い。Windowsでは問題なく動作しました。
  • 複数のバックエンドに接続できますが、すべて管理されています。Ollamaオプションが利用できれば良いです。
  • Cortexでセルフホスティング可能なモデルの種類が限られています。また、クアンタイズオプションもあまり多くありません。
  • はい、Huggingface ggufは素晴らしいですが、私は
    • OllamaがすでにダウンロードしてVRAMにロードしたモデルを再利用したい
    • 同じモデルをあらゆる場所にホストしないで済ませたい

KoboldAI

KoboldAI

非常に注目すべきUIです。

Silly Tavern

Silly Tavern

非常に使い勝手の良いUIです。

LLM Studio

LLM Studio は、LLM用のUIとしては私の好みではありませんが、Huggingfaceモデルへのアクセスがより良いです。

コマンドライン Ollama

はい、これはユーザーインターフェースの一種ですが、コマンドライン形式です。

llama3.1のLLMを実行するには、以下のコマンドを実行してください:

ollama run llama3.1

終了したら、コマンドラインからollamaを終了するコマンドを送信してください:

/bye

cURL Ollama

まだcUrlをインストールしていない場合は、以下のコマンドでインストールしてください:

sudo apt-get install curl

ollama上でホストされているローカルのmistral nemo q8 llmを呼び出すには、プロンプトp.jsonを含むローカルファイルを作成してください:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

そして、bashターミナルで以下のコマンドを実行してください:

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

結果はファイル p-result.json に保存されます。

結果を表示するだけにしたい場合は、以下のコマンドを使用してください:

curl -X POST http://localhost:11434/api/generate -d @p.json

また:

これらはテストしていませんが、LLM用のUIの非常に包括的なリストです:

有用なリンク