Ollama

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.

Jag har en teori att testa – om man använder alla kärnor på Intel CPU skulle det öka hastigheten hos LLMs? Det är irriterande att den nya gemma3 27-bit model (gemma3:27b, 17GB på ollama) inte passar in i min GPU:s 16GB VRAM och delvis kör på CPU.

När Ollama-servern får två begäranden samtidigt, beror dess beteende på dess konfiguration och tillgängliga systemresurser.

DeepSeek’s första generation av resonemodeller med jämförbar prestanda med OpenAI-o1, inklusive sex tätmodeller distillerade från DeepSeek-R1 baserade på Llama och Qwen.

Detta Ollama CLI cheat sheet fokuserar på kommandona du använder varje dag (ollama ls, ollama serve, ollama run, ollama ps, modellhantering och vanliga arbetsflöden), med exempel som du kan kopiera och klistra in.

Inte för länge sedan släpptes. Låt oss uppdatera och
testa hur Mistral Small presterar jämfört med andra LLMs.

Reranking är ett andra steg i Retrieval Augmented Generation (RAG) system, precis mellan hämtning (Retrieving) och generering (Generating).

Läcker mat är också en njutning för ögonen. Men i den här posten kommer vi att jämföra två AI-baserade söksystem, Farfalle och Perplexica.

Det är mycket spännande! I stället för att anropa copilot eller perplexity.ai och berätta för hela världen vad du eftersträvar, kan du nu värd en liknande tjänst på din egen dator eller laptop!

Nyligen har vi sett flera nya LLM:er släppas. Spännande tider. Låt oss testa och se hur de presterar när de upptäcker logiska fall.

När jag började experimentera med LLMs var gränssnitten för dem i aktiv utveckling och nu är några av dem verkligen bra.

Även om det finns några vanliga metoder för att skriva bra instruktioner så att LLM inte blir förvirrad när den försöker förstå vad du vill ha av den.

Testa hur modeller med olika antal parametrar och kvantisering beter sig.

Efter att ha installerat ollama är det bättre att omkonfigurera ollama direkt så att de lagras i en ny plats. Så efter att vi hämtar en ny modell, kommer den inte att laddas ner till den gamla platsen.