Ollama

Reranking to drugi krok w systemach RAG (Retrieval Augmented Generation), znajdujący się bezpośrednio między pobieraniem (Retrieving) a generowaniem (Generating).

Wspaniałe jedzenie to również przyjemność dla oczu. Ale w tym poście porównamy dwa systemy wyszukiwania oparte na AI: Farfalle i Perplexica.

To jest bardzo ekscytujące! Zamiast korzystać z Copilota lub perplexity.ai i informować cały świat o swoich potrzebach, możesz teraz hostować podobną usługę na własnym komputerze lub laptopie!

Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.

Gdy zaczynałem eksperymentować z LLM, ich interfejsy użytkownika były w fazie aktywnego rozwoju, a teraz niektóre z nich są naprawdę dobre.

Nadal istnieją pewne powszechne podejścia do pisania dobrych promptów, dzięki czemu LLM nie będzie się pogubił, próbując zrozumieć, czego od niego oczekujesz.

Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.

Po zainstalowaniu Ollama lepiej jest od razu skonfigurować Ollama tak, aby przechowywał je w nowej lokalizacji. Dzięki temu po pociągnięciu nowego modelu nie zostanie on pobrany do starego miejsca.