RAG

다음은 인기 있는 LLM 제공업체 간의 구조화된 출력 (신뢰할 수 있는 JSON 응답) 지원 비교와 최소한의 Python 예제입니다.

대형 언어 모델(LLM) 은 강력한 기능을 가지고 있지만, 실제 프로덕션 환경에서는 자유로운 형식의 단락(free-form paragraphs)을 원하는 경우가 드뭅니다. 대신 우리는 예측 가능한 데이터를 원합니다. 즉, 애플리케이션에 입력할 수 있는 속성, 사실 또는 구조화된 객체를 말입니다. 이것이 바로 LLM 구조화된 출력(Structured Output)입니다.

표준 Ollama 에는 직접적인 rerank API 가 없으므로, 쿼리 - 문서 쌍에 대한 임베딩을 생성하고 점수를 매기는 방식으로 GO 에서 Qwen3 Reranker 를 사용한 재순위 지정 을 구현해야 합니다.

이 작은 Go 코드 예시는 쿼리와 각 후보 문서에 대해 임베딩을 생성하기 위해 Ollama 를 호출합니다 그리고 코사인 유사도 기준으로 내림차순으로 정렬합니다.

Qwen3 임베딩 및 리랭커 모델 은 Qwen 시리즈의 최신 릴리스로, 고급 텍스트 임베딩, 검색 및 재랭킹 작업을 위해 특별히 설계되었습니다.

• Go에서 Beautiful Soup과 직접적으로 대응하는 라이브러리를 사용하려면 soup을 사용하세요.
• CSS 선택자 지원이 필요하다면 goquery를 고려하세요.
• XPath 쿼리를 사용하려면 htmlquery를 사용하세요.
• 또 다른 Beautiful Soup 영감을 받은 옵션을 원한다면 Node를 참고하세요.

Go에서 Beautiful Soup 대응 라이브러리를 찾고 있다면, 여러 라이브러리가 유사한 HTML 파싱 및 스크래핑 기능을 제공합니다:

Ollama 모델 라이브러리에는 HTML 콘텐츠를 Markdown으로 변환할 수 있는 모델이 포함되어 있습니다. 이는 콘텐츠 변환 작업에 유용합니다. 이 가이드는 우리의 2026년 문서화 도구: Markdown, LaTeX, PDF 및 인쇄 워크플로우 허브의 일부입니다.

LLM을 사용하는 것은 매우 비용이 많이 들지 않으며, 새로운 고성능 GPU를 구매할 필요가 있을 수도 있습니다.
클라우드에서 제공하는 LLM 제공업체 목록을 확인해보세요. 이 목록에는 제공업체가 호스팅하는 LLM이 나와 있습니다.

이 가이드에서는 Ollama가 병렬 요청을 처리하는 방식(동시성, 큐잉 및 자원 제한)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정)를 사용하여 이를 최적화하는 방법을 설명합니다.

DeepSeek’s 첫 세대 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 추출한 6개의 밀집 모델입니다.

리랭킹 은 검색 증강 생성 (RAG) 시스템 에서 검색 (Retrieving) 과 생성 (Generating) 사이에 위치하는 두 번째 단계입니다.

아직도 LLM이 당신이 원하는 것을 이해하려고 애를 쓰지 않도록 하기 위해 효과적인 프롬프트를 작성하는 데 사용되는 일반적인 접근 방법이 몇 가지 있습니다.

다양한 파라미터 수와 양자화된 모델들이 어떻게 작동하는지 테스트해보았습니다.