"어떤 모델이 문장을 더 잘 이해하는가?"라는 질문은 단순한 양자택일의 문제가 아닙니다. 머신러닝에서 '이해'라는 개념은 다면적이며 특정 과업에 따라 그 의미가 달라집니다. 본 보고서는 BGE M3 임베딩 모델과 리랭커(Reranker) 모델이 정보 검색 프로세스의 서로 다른 단계를 위해 설계된, 상호 보완적인 두 가지 방식의 의미 이해를 대표한다는 점을 논증하고자 합니다. 두 모델의 근본적인 차이는 기본 아키텍처에 있습니다. BGE M3는 확장 가능한 의미론적 매핑(semantic mapping)을 위해 설계된 바이-인코더(Bi-Encoder)이며, 리랭커는 높은 충실도의 관련성 판단(relevance judgment)을 위해 설계된 크로스-인코더(Cross-Encoder)입니다. 본 보고서는 이 두 아키텍처를 해부하여 각각이 서로 다른 과업에서 뛰어난 성능을 보이는 이유를 밝힐 것입니다. 결론부터 말하자면, 주어진 특정 쿼리(query)의 맥락에서 문장의 의도, 의미, 목적을 깊이 있고 정확하게 판단하는 작업에서는 리랭커(크로스-인코더)가 명백히 우월합니다. 그러나 이 강력한 능력은 BGE M3와 같은 1단계 검색 모델(바이-인코더)에 의해 실용적이고 확장 가능하게 만들어질 때 비로소 빛을 발합니다. 궁극적인 해결책은 둘 중 하나를 선택하는 것이 아니라, 시너지를 내는 조합을 구성하는 것입니다. 이는 BGE M3 모델의 개발자들 스스로가 권장하는 바이기도 합니다. 이러한 분석을 위해, 본 보고서는 각 모델 유형에 대한 심층 분석, 직접적인 아키텍처 비교, 그리고 현대 정보 검색의 표준이 된 2단계 검색 파이프라인에 대한 상세한 설명과 최종적인 결론을 제시할 것입니다. 사용자의 질문 자체가 두 모델을 동일한 작업에 대한 직접적인 경쟁자로 보는 일반적인 오해를 반영하고 있습니다. 최첨단 시스템은 단일 모델 솔루션에서 벗어나, 서로 다른 아키텍처의 전문적인 강점을 활용하는 다단계 파이프라인으로 나아가고 있습니다. 정보 검색이라는 큰 문제는 (1) 수백만, 수십억 개의 문서 중에서 가능성 있는 후보군을 신속하게 찾는 것(재현율 중심 과업)과 (2) 그 작은 후보군 중에서 가장 좋은 하나를 정확하게 식별하는 것(정확도 중심 과업)이라는 두 가지 하위 문제로 분해되었습니다. 따라서 올바른 질문의 틀은 "A 대 B"가 아니라 "최적의 시스템에서 A의 역할은 무엇이고, B의 역할은 무엇인가?"가 되어야 합니다. 본 보고서는 이 초기 프레임을 즉시 교정하여 실질적인 가치를 제공하고자 합니다.
바이-인코더의 아키텍처 원리 바이-인코더 아키텍처는 두 개의 입력(예: 쿼리와 문서)을 두 개의 분리된 인코더(또는 동일한 인코더를 두 번 사용)를 통해 독립적으로 처리합니다. 각 입력에 대한 출력은 고정된 차원의 벡터, 즉 '임베딩'입니다. 이 임베딩들은 공유된 고차원 의미 공간(semantic space)에 존재하도록 설계되었습니다. 관련성은 인코딩이 완료된 후에 두 결과 벡터 간의 코사인 유사도(cosine similarity)나 내적(dot product)을 계산하여 결정됩니다. 이처럼 인코딩과 비교 과정이 분리되어 있다는 점이 바이-인코더의 확장성의 핵심입니다. 모든 문서 임베딩은 사전에 계산하여 Milvus나 Pinecone과 같은 벡터 데이터베이스에 저장해 둘 수 있으며, 이를 통해 매우 빠른 최근접 이웃(nearest-neighbor) 검색이 가능해집니다. BGE M3: 최첨단 바이-인코더 구현 BGE M3는 강력한 다국어 트랜스포머 모델인 XLM-RoBERTa 아키텍처를 기반으로 구축되었습니다. 모델명에 포함된 "M3"는 이 모델이 가진 세 가지 핵심적인 장점을 나타냅니다. 다국어성(Multi-Linguality): 100개 이상의 언어를 지원하여, 단일 언어 내 검색(multilingual retrieval)과 다른 언어 간 검색(cross-lingual retrieval)을 모두 가능하게 합니다. 이는 글로벌 서비스를 구축하는 데 있어 매우 중요한 특징입니다. 다중 입출력 크기(Multi-Granularity): 짧은 문장에서부터 최대 8,192 토큰에 이르는 긴 문서까지 다양한 길이의 입력을 처리할 수 있습니다. 이는 512 토큰 등 더 작은 컨텍스트 창을 가졌던 구형 모델들에 비해 크게 개선된 점으로, 문서 수준의 깊이 있는 이해에 필수적입니다. 다기능성(Multi-Functionality): 이것이 BGE M3의 핵심적인 차별점입니다. BGE M3는 단순히 하나의 모델이 아니라, 세 가지 검색 방법을 위한 통합된 프레임워크를 제공합니다. 밀집 검색(Dense Retrieval): 고전적인 바이-인코더 접근 방식입니다. `` 토큰의 임베딩을 전체 텍스트의 의미를 대표하는 벡터로 사용합니다. 이 벡터는 $e_q = norm(H_q)$와 같이 정규화되어 사용되며, 쿼리 벡터 $e_q$와 문서 벡터 $e_p$ 간의 유사도 $s_{dense} = f_{sim}(e_p, e_q)$를 계산하여 관련성을 측정합니다. 희소 검색(Sparse Retrieval / Lexical Matching): BM25와 같은 전통적인 키워드 기반 검색 방식과 유사하게 용어 가중치(term weights)를 생성합니다. 이는 토큰 임베딩에 선형 계층(linear layer)을 적용하여 $w_q^t = \text{Relu}(W_{lex}^T H_q[i])$와 같이 계산됩니다. 이 방식은 밀집 검색이 놓칠 수 있는 정확한 키워드 일치를 포착하는 데 도움을 줍니다. 쿼리와 문서에 공통으로 나타나는 용어들의 가중치를 곱하여 합산함으로써 $s_{lex} = \sum_{t \in q \cap p} (w_q^t * w_p^t)$와 같이 최종 점수를 계산합니다. 다중 벡터 검색(Multi-Vector Retrieval / ColBERT-style): 텍스트를 단일 벡터가 아닌, 각 토큰에 대한 '임베딩의 가방(bag of embeddings)'으로 표현합니다. 관련성은 '지연 상호작용(late-interaction)' 메커니즘을 통해 계산되는데, 각 쿼리 토큰에 대해 모든 문서 토큰과의 유사도 중 최댓값을 찾아 합산하는 방식입니다 ($s_{mul} = \frac{1}{N} \sum_{i=1}^{N} \max_{j=1}^{M} E_q[i] \cdot E_p^T[j]$). 이는 단일 벡터 밀집 검색보다 더 세밀한 비교를 제공합니다. 바이-인코더의 '이해' 방식 바이-인코더는 텍스트를 고차원 공간의 특정 지점(벡터)에 매핑함으로써 의미를 '이해'합니다. 여기서 '의미'는 기하학적 개념이 됩니다. 비슷한 의미를 가진 텍스트들은 이 공간에서 서로 가까운 곳에 위치하게 됩니다. 이러한 이해 방식은 본질적으로 일반화되고 맥락 독립적입니다. "강가에 은행이 있다"라는 문장의 임베딩은 사용자의 쿼리가 "어디서 낚시를 할 수 있나요?"인지, "어디에 수표를 입금할 수 있나요?"인지에 대한 정보 없이 생성됩니다. 이것이 바로 바이-인코더의 효율성의 원천이자 동시에 주된 한계점입니다. BGE M3에 희소 검색과 다중 벡터 검색 기능이 포함된 것은 단순히 기능을 추가한 것이 아닙니다. 이는 순수한 밀집 검색 방식이 가진 잘 알려진 한계점들에 대한 직접적인 아키텍처적 대응입니다. 즉, 비용이 저렴한 1단계 검색기(retriever)를 더 똑똑하게 만들려는 진화적 흐름을 보여줍니다. 단순한 바이-인코더는 오직 의미론적 유사도(밀집 벡터)에만 의존하기 때문에, 특정 키워드가 중요하거나 문서 내의 미묘한 하위 주제가 관련 있을 때 실패할 수 있습니다. BGE M3의 희소 검색 기능은 BM25와 같은 강력하고 검증된 어휘 일치(lexical matching) 개념을 신경망 검색 세계에 다시 도입하여 단일 모델 내에서 하이브리드 접근을 가능하게 합니다. 또한, 밀집 검색의 단일 벡터 표현은 '정보 병목 현상(information bottleneck)'을 야기할 수 있습니다. 문서 전체의 의미를 하나의 벡터로 평균 내면서 세부 정보를 잃게 되는 것입니다. 다중 벡터 검색은 토큰 수준의 임베딩을 유지함으로써 이 문제를 직접적으로 해결하며, 크로스-인코더의 깊이 있는 비교를 근사하면서도 여전히 더 효율적인 세분화된 '지연 상호작용'을 허용합니다. 따라서 BGE M3는 단순한 바이-인코더가 아니라, 의미론적, 어휘적, 세분화된 신호를 혼합하여 재현율(recall)의 질을 향상시키는 정교한 하이브리드 1단계 검색기이며, 이를 통해 2단계 리랭커에게 훨씬 더 나은 후보 목록을 제공할 수 있습니다.
크로스-인코더의 아키텍처 원리 크로스-인코더는 쿼리와 문서를 하나의 시퀀스로 연결(주로 ``과 같은 특수 토큰으로 분리)한 뒤, 이를 함께 단일 트랜스포머 모델에 입력한다는 점에서 바이-인코더와 근본적으로 다릅니다. 이 구조 덕분에 트랜스포머의 셀프-어텐션(self-attention) 메커니즘은 모든 계층에서 쿼리의 토큰들과 문서의 토큰들 사이의 어텐션 점수를 계산할 수 있습니다. 이는 두 입력 간의 관계를 깊고 풍부하며 상호작용적으로 모델링하는 것을 가능하게 합니다. 최종 출력은 재사용 가능한 벡터 임베딩이 아니라, 해당 특정 쌍에 대한 관련성 점수를 나타내는 단일 값(예: 0과 1 사이)입니다. 크로스-인코더의 '이해' 방식 크로스-인코더는 깊이 있고, 맥락적이며, 비교적인 판단을 통해 의미를 '이해'합니다. 이는 문서의 재사용 가능한 표현을 만드는 대신, "이 특정 문서가 이 특정 쿼리에 얼마나 관련이 있는가?"라는 질문에 답하기 위해 일회성의 매우 상세한 분석을 수행합니다. 이것은 바이-인코더가 놓치는 미묘한 상호작용을 포착하기 때문에, 관련성, 의도, 목적을 결정하는 데 있어 근본적으로 더 강력하고 정확한 방법입니다. 예를 들어, 크로스-인코더는 "강가에 은행이 있다"라는 문장이 "어디서 낚시를 할까?"라는 쿼리와 "어디에 돈을 입금할까?"라는 쿼리에 대해 갖는 서로 다른 관련성을 쉽게 구별할 수 있습니다. 정확도의 이점 vs. 확장성의 병목 이점: 크로스-인코더는 깊이 있는 상호작용 모델링 덕분에 순위 결정 과업에서 일관되게 더 높은 정확도를 달성합니다. 이는 관련성 점수화의 황금 표준(gold standard)으로 여겨집니다. 병목: 이 높은 정확도는 막대한 계산 비용을 수반합니다. 1백만 개의 문서가 있는 코퍼스에서 최적의 문서를 찾기 위해, 크로스-인코더는 1백만 번의 개별적인 전체 모델 순방향 패스(forward pass)를 수행해야 합니다. 반면 바이-인코더는 쿼리에 대해 한 번의 순방향 패스를 수행한 후, 미리 계산된 문서 벡터들을 대상으로 매우 효율적인 벡터 유사도 검색을 수행합니다. 이러한 특성 때문에 크로스-인코더는 대규모 데이터셋에 대한 1단계 검색에는 완전히 비실용적입니다. 바이-인코더의 확장성과 크로스-인코더의 정확도 사이의 이러한 긴장 관계는 단순한 기술적 세부 사항이 아닙니다. 이는 모든 현대 고성능 검색 및 RAG(검색 증강 생성) 시스템의 아키텍처를 결정하는 근본적인 경제적, 공학적 제약 조건입니다. 이상적인 시스템은 크로스-인코더의 정확도를 바이-인코더의 속도로 구현하는 것이겠지만, 현재로서는 불가능합니다. 기업과 애플리케이션은 모든 쿼리에 대해 수백만 개의 항목에 크로스-인코더를 실행하는 데 드는 지연 시간이나 계산 비용을 감당할 수 없습니다. 동시에, 정밀도가 가장 중요한 고위험 애플리케이션(예: 법률 검색, 의료 RAG)에서 바이-인코더에만 의존할 때 발생하는 정확도 손실 또한 감당할 수 없습니다. 논리적인 결론은 계층화된 시스템을 만드는 것입니다. 이는 자원이 제한된 문제를 최적화하기 위한 고전적인 엔지니어링 패턴입니다. 즉, 거친 필터링을 위해 '저렴하고 빠른' 도구를 사용하고, 세밀한 정제를 위해 '비싸고 느린' 도구를 사용하는 것입니다. 이 접근법은 단순한 모델 비교를 넘어 시스템 설계 원칙에 대한 분석으로 논의를 격상시키며, 이는 대상 독자에게 훨씬 더 가치 있는 정보를 제공합니다. 2단계 파이프라인은 단순히 '좋은 아이디어'가 아니라, 이 핵심적인 트레이드오프에 대한 직접적이고 논리적인 해결책입니다.
의미 표현: 벡터 vs. 점수 BGE M3는 독립적인 문서의 의미를 나타내는 재사용 가능한 벡터를 생성합니다. 반면 리랭커는 쿼리-문서 쌍의 관련성을 나타내는 일시적인 점수를 생성합니다. 문맥 분석: 일반화 vs. 쿼리 특정적 BGE M3의 분석은 쿼리에 대한 정보 없이 수행됩니다. 리랭커의 전체 분석은 특정 쿼리에 따라 조건화됩니다. 운영 목표: 넓은 재현율 vs. 높은 정확도 BGE M3는 관련성이 있을 법한 광범위한 문서 집합을 검색하도록(높은 재현율) 설계되었습니다. 리랭커는 이 집합을 샅샅이 뒤져 가장 관련성 높은 문서를 식별하도록(높은 정확도) 설계되었습니다. 이해를 돕는 비유 BGE M3 (바이-인코더): 도서관의 카드 목록이나 디지털 검색 색인과 같습니다. 도서관은 모든 책(문서)을 일반적인 주제에 따라 미리 색인화하여 주소(임베딩)를 만들어 둡니다. 사용자가 특정 주제(쿼리)를 검색하면, 도서관의 해당 구역(벡터 공간)에 있는 모든 책을 신속하게 찾아줍니다. 전체 도서관을 검색하는 데는 믿을 수 없을 정도로 빠릅니다. 리랭커 (크로스-인코더): 전문 주제 사서와 같습니다. 사용자는 카드 목록이 제안한 10권의 책과 자신의 질문을 사서에게 가져갑니다. 사서는 사용자의 질문을 읽고 10권의 책 각각의 핵심 부분을 읽으며 사용자의 특정 요구사항과 직접 비교합니다. 그런 다음 가장 관련성이 높은 순서부터 낮은 순서로 정렬하여 10권의 책을 다시 건네줍니다. 이 과정은 느리고 집중적이지만, 최종 순위는 훨씬 더 정확합니다. 아키텍처 및 기능 비교표 다음 표는 앞선 섹션들의 복잡한 논의를 하나의 구조화된 형태로 요약하여 두 모델 유형의 뚜렷한 역할을 명확히 보여줍니다. 이는 신속한 참조 및 의사 결정에 도움이 될 수 있습니다. 기능 BGE M3 (바이-인코더) 리랭커 (크로스-인코더) 모델 유형 바이-인코더 (Bi-Encoder) 크로스-인코더 (Cross-Encoder) 핵심 아키텍처 두 개의 독립적인 인코더가 쿼리와 문서를 별도로 처리 단일 인코더가 연결된 쿼리-문서 쌍을 함께 처리 입력 처리 $f(\text{query}), $f(\text{document})$ $f(\text{query} + \text{document})$ 출력 두 개의 독립적인 벡터 (임베딩) 단일 관련성 점수 (예: 0-1) '이해' 방식 의미론적 매핑: 텍스트를 벡터 공간의 위치에 매핑. 일반화되고 맥락 독립적. 관련성 판단: 특정 쌍에 대한 깊이 있는 비교 분석 수행. 맥락 의존적. 계산 비용 낮음 (쿼리 시점): 1개의 쿼리 인코딩 + 빠른 벡터 검색. 문서 인코딩은 사전 계산됨. 높음: 쿼리-문서 쌍당 1개의 전체 모델 패스. 사전 계산 없음. 확장성 높음: 벡터 데이터베이스를 통해 수십억 개의 문서로 확장 가능. 낮음: 대규모 후보 집합에는 비실용적. 정확도 좋지만 미묘한 차이를 놓칠 수 있음. 매우 높음, 관련성의 황금 표준. 주요 사용 사례 1단계 검색: 광범위한 후보 집합 찾기 (재현율). 2단계 리랭킹: 소규모 후보 집합 재정렬 (정확도). 핵심 강점 속도와 확장성. 정확도와 문맥적 깊이.
RAG의 필요성 이 문제는 검색 증강 생성(RAG)의 맥락에서 이해해야 합니다. LLM(대규모 언어 모델)이 생성하는 최종 답변의 품질은 검색된 컨텍스트의 품질에 결정적으로 의존합니다. "쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out)." 부실한 검색은 환각(hallucination)과 무관한 답변으로 이어집니다. 1단계 - 후보 검색 (BGE M3의 역할) BGE M3는 방대한 코퍼스(예: 수백만 개의 문서)에 대한 초기 검색을 수행하는 데 사용됩니다. 최첨단 접근 방식은 BGE M3의 밀집(dense) 출력과 희소(sparse) 출력을 결합하여 혼합 점수를 계산하는 것입니다. 이를 통해 의미론적 일치와 어휘적 일치를 모두 활용하여 초기 검색을 수행합니다. 이 방법은 어느 한 가지 방법만 사용하는 것보다 훨씬 더 높은 품질의 후보 집합(예: 상위 100개 문서)을 생성합니다. 2단계 - 정밀 리랭킹 (리랭커의 역할) 이렇게 얻은 더 작은 후보 집합(예: 100개)은 리랭커 모델(예: bge-reranker-v2)로 전달됩니다. 리랭커는 계산 비용이 많이 들지만 매우 정확한 분석을 이 100개의 문서에 대해서만 수행하여 각 문서를 쿼리에 대해 점수화합니다. 그런 다음 문서는 이 새롭고 더 정밀한 점수를 기준으로 재정렬됩니다. 최종적으로 상위 k개(예: 상위 3-5개)의 문서가 LLM에 컨텍스트로 전달됩니다. 최적의 파이프라인 이 2단계 프로세스는 사용자의 암묵적인 질문인 "시스템을 어떻게 구축해야 하는가?"에 대한 결정적인 답변입니다. 이는 BGE M3의 강점(속도, 확장성, 하이브리드 재현율)과 리랭커의 강점(정확도)을 활용하는 동시에 각각의 약점(BGE M3의 낮은 정밀도, 리랭커의 낮은 확장성)을 완화합니다. 이 파이프라인은 BGE M3 제작자들이 권장하는 바로 그 방식이며 , 더 넓은 NLP 커뮤니티에서도 표준으로 받아들여지고 있습니다.
사용자의 구체적인 질문으로 돌아가 결론을 내리자면, 특정 쿼리의 맥락에서 문장의 "의도, 의미, 목적"을 깊고 정확하게 판단하는 작업에서는 리랭커 모델이 명백히 우월합니다. 리랭커의 크로스-어텐션 아키텍처는 이러한 종류의 미묘하고 비교적인 분석을 위해 특별히 제작되었습니다. 그러나 이 우월한 판단력은 소규모의 사전 필터링된 후보 집합에 적용될 때만 대규모로 실용적입니다. BGE M3 임베딩 모델은 이 1단계 필터링을 위한 최첨단 도구입니다. BGE M3는 확장성이 뛰어난 바이-인코더 아키텍처와 고급 다기능성을 사용하여 수백만 문서의 일반적인 의미를 매핑하고 초기 후보 집합을 효율적으로 식별합니다. 고품질 정보 검색 또는 RAG 시스템을 구축하는 모든 실무자를 위한 핵심적인 결론은 어떤 모델을 선택할지의 문제가 아니라, 어떻게 이들을 효과적으로 결합할지의 문제라는 것입니다. 재현율을 위해 BGE M3와 같은 바이-인코더를 사용하고 정밀도를 위해 크로스-인코더 리랭커를 사용하는 2단계 검색 파이프라인은 현재 실용적이고 고성능인 시스템 설계의 정점을 대표합니다. 진정으로 의도를 이해하기 위해서는 먼저 넓은 그물을 던진 다음, 전문가의 눈으로 잡은 것을 검사해야 합니다. 여기서 BGE M3는 그물이고, 리랭커는 전문가입니다.