AI

Ponieważ standardowy Ollama nie ma bezpośredniego interfejsu API do ponownego rangowania, musisz zaimplementować ponowne rangowanie przy użyciu Qwen3 Reranker w GO generując embeddingi dla par zapytań i dokumentów oraz oceniając je.

W jednym zimnym zimnym dniu w lipcu … czyli w Australii … czułem nagły potrzebę trenowania modelu AI do wykrywania nierozpaczonych prętów zbrojeniowych w betonie…

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z angielskiego na niemiecki: porównanie, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo. Trzy strony, które przetestowałem, dotyczyły różnych tematów, miały ładny markdown z pewną strukturą: nagłówki, listy, tabele, linki itp.

To ta mała przykładowa wersja kodu Go do rerankingu, która wywołuje Ollama w celu wygenerowania wektorów dla zapytania oraz dla każdego kandydującego dokumentu, następnie sortuje malejąco według podobieństwa kosinusowego.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

W bibliotece modeli Ollama znajdują się modele, które potrafią przekształcać zawartość HTML w Markdown, co jest przydatne w zadaniach konwersji treści.

• Wyszukiwanie jest najlepsze do szybkiego, prostego odnajdywania informacji za pomocą słów kluczowych.
• Głębokie wyszukiwanie wyróżnia się w zrozumieniu kontekstu i intencji, dostarczając bardziej relevantnych i kompletnych wyników dla skomplikowanych zapytań.

W tym miejscu wymienię niektóre narzędzia wspomagane przez AI do kodowania oraz asystentów kodowania opartych na AI i ich pozytywne strony.

Użycie modeli językowych (LLM) nie jest bardzo drogie, może nie być potrzeby zakupu nowego, wspaniałego GPU.
Oto lista dostawców LLM w chmurze: dostawcy LLM w chmurze z LLM, które hostują.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.

Wśród burzy współczesnego świata tutaj porównuję specyfikację techniczną różnych kart odpowiednich do zadań AI
(uczenia maszynowego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.

Gdy serwer Ollama otrzymuje dwa żądania w tym samym czasie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.

Vibe coding to podejście do programowania napędowane przez sztuczną inteligencję, w którym programiści opisują pożądaną funkcjonalność w języku naturalnym, pozwalając narzędziom AI na automatyczne generowanie kodu.

Używałem MMDetection (mmengine, mdet, mmcv) dość często,
a teraz wygląda na to, że wycofał się z gry.
To żal. Lubiłem jego zoo modeli.

Model pierwszego pokolenia DeepSeek z porównywalną wydajnością do OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.