Ollama

표준 Ollama에는 직접적인 재정렬 API가 없기 때문에, 쿼리-문서 쌍의 임베딩을 생성하고 이를 점수화하여 Qwen3 재정렬기 사용으로 재정렬하기(GO)를 구현해야 합니다.

이 테스트에서는 Ollama에 호스팅된 다양한 LLM이 Hugo 페이지를 영어에서 독일어로 번역하는 방법을 비교하고 있습니다. https://www.glukhov.org/ko/post/2025/06/translation-quality-comparison-llms-on-ollama/ "comparison how different LLMs hosted on Ollama translate Hugo page from English to German".

테스트한 세 페이지는 서로 다른 주제를 다루고 있으며, 마크다운 형식으로 구성되어 있습니다. 헤더, 목록, 표, 링크 등이 포함되어 있습니다.

이 작은
Reranking Go 코드 예제는 Ollama를 호출하여 쿼리와 각 후보 문서에 대한 임베딩을 생성
그런 다음 코사인 유사도에 따라 내림차순으로 정렬합니다.

Qwen3 Embedding 및 Reranker 모델은 Qwen 가족의 최신 출시물로, 고급 텍스트 임베딩, 검색 및 재정렬 작업에 특화되어 있습니다.

PCIe 랜의 수가 LLM 성능에 미치는 영향? 작업에 따라 다릅니다. 훈련 및 다중 GPU 추론의 경우 성능 저하가 상당합니다.

Ollama 모델 라이브러리에는 HTML 콘텐츠를 Markdown으로 변환할 수 있는 모델이 있습니다. 이는 콘텐츠 변환 작업에 유용합니다.
HTML을 Markdown으로 변환하는 LLM Ollama

여기 몇 가지 AI 지원 코딩 도구와 AI 코딩 어시스턴트 및 그들의 장점을 나열할 것입니다.

제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 일부는 CPU에서 실행되고 있다는 점이 제게 괴롭습니다.

Ollama 서버가 동일한 시간에 두 개의 요청을 받을 경우, 그 동작은 구성 설정과 사용 가능한 시스템 자원에 따라 달라집니다.

DeepSeek’s 첫 번째 세대의 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 압축한 6개의 밀집 모델입니다.

이 문서는 가장 유용한 Ollama 명령어 목록과 예시입니다 (Ollama 명령어 참고서),
저는 이전에 이를 정리했습니다.
이 문서가 여러분에게 도움이 되기를 바랍니다.

얼마 전에 출시되었습니다. 지금 바로 확인하고
다른 LLM과 비교하여 Mistral Small의 성능을 테스트해보세요.

Reranking은 검색 증강 생성 (RAG) 시스템에서 두 번째 단계로, 검색과 생성 사이에 위치합니다.

맛있는 음식은 눈에도 즐거움을 줍니다.
하지만 이번 포스팅에서는 두 가지 AI 기반의 검색 시스템인 Farfalle 및 Perplexica를 비교해 보겠습니다.

정말 흥미롭습니다! 이제 Copilot이나 perplexity.ai에 모든 세상에 당신이 원하는 것을 말하는 대신, 자신의 PC 또는 랩탑에 유사한 서비스를 호스팅할 수 있습니다!