RAG

Da das standardmäßige Ollama keinen direkten Rerank-API-Anschluss hat, müssen Sie Reranking mit Qwen3 Reranker in GO implementieren, indem Sie Embeddings für Abfrage-Dokument-Paare generieren und sie bewerten.

Dieses kleine Reranking Go-Codebeispiel ruft Ollama auf, um Embeddings zu generieren für die Abfrage und für jede Kandidatendokumente, dann Sortieren nach absteigender Kosinusähnlichkeit.

Die Qwen3 Embedding und Reranker Modelle sind die neuesten Veröffentlichungen in der Qwen-Familie und wurden speziell für fortgeschrittene Text-Embedding-, Retrieval- und Reranking-Aufgaben entwickelt.

• Für eine direkte Analogie zu Beautiful Soup in Go verwenden Sie soup.
• Für CSS-Selektoren verwenden Sie goquery.
• Für XPath-Abfragen verwenden Sie htmlquery.
• Für eine weitere Beautiful Soup-inspirierte Option schauen Sie sich Node an.

Wenn Sie ein Beautiful Soup-Äquivalent in Go suchen, bieten mehrere Bibliotheken ähnliche Funktionalitäten zur HTML-Verarbeitung und -Auswertung:

Im Ollama-Modell-Repository gibt es Modelle, die in der Lage sind, HTML-Inhalt in Markdown umzuwandeln – was für Aufgaben zur Inhaltskonvertierung nützlich ist.

Die Verwendung von LLMs ist nicht sehr teuer, es könnte also kein Bedarf bestehen, neue, beeindruckende GPU-Karten zu kaufen.
Hier ist eine Liste der LLM-Anbieter in der Cloud mit den LLMs, die sie hosten.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

Reranking ist der zweite Schritt im Retrieval Augmented Generation (RAG) systemen, direkt zwischen Retrieving und Generating.

Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.

Testing, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.