LLM

Тестирование, как Perplexica работает с различными LLM, запущенными на локальном Ollama: Llama3, Llama3.1, Hermes 3, Mistral Nemo, Mistral Large, Gemma 2, Qwen2, Phi 3 и Command-r различных квант и выбор Лучший LLM для Perplexica

Вкусная еда - это удовольствие не только для глаз. Но в этом посте мы сравним две системы поиска на основе ИИ, Farfalle и Perplexica.

Это очень волнующе! Вместо того чтобы звонить в Copilot или Perplexity.ai и рассказывать всему миру, что вы ищете, теперь вы можете разместить аналогичную службу на своем ПК или ноутбуке!

Недавно мы увидели несколько новых языковых моделей, которые были выпущены. Возбуждающие времена. Давайте протестируем и посмотрим, как они работают при обнаружении логических ошибок.

Когда я начал экспериментировать с ЛЛМ, интерфейсы для них находились в стадии активной разработки, и теперь некоторые из них действительно хороши.

Есть ещё несколько общепринятых подходов к написанию хороших промптов, чтобы LLM не запуталась, пытаясь понять, чего вы хотите от неё.

Исследование поведения моделей с разным количеством параметров и квантования.

После установки ollama лучше сразу переконфигурировать ollama для хранения их в новом месте. Таким образом, после того как мы загрузим новую модель, она не будет скачана в старое место.

Сравнение скорости предсказания нескольких версий ЛЛМ: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на CPU и GPU.

Здесь я сравниваю несколько версий LLM: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) и Qwen (Alibaba).