long context2 [LLM] Long-Context LLMs Meet RAG: 긴글 처리와 RAG를 위한 최적화 전략 Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG 1. IntroductionRAG시스템은 대규모 언어 모델이 외부 정보를 활용하여 생성 품질을 높일 수 있도록 설계되었습니다. 특히, 긴 문맥을 처리할 수 있는 LLM이 발전하면서 더 많은 검색 결과를 활용하여 지능형 답변을 생성할 수 있는 가능성이 열렸습니다. 하지만 연구에 따르면 검색 결과가 많아질수록 성능이 초기에는 향상되다가, 이후에는 불필요하거나 부정확한 정보(Hard Negatives)로 인해 성능이 저하되는 문제가 발생합니다.이 글에서는 논문 "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs i.. 2024. 11. 21. [LLM] RAPTOR: 긴글(Long Context)을 위한 최적의 RAG 검색 전략 긴 문서를 효율적으로 처리하고, Long Context 문제를 해결하는 새로운 RAG 시스템, RAPTOR를 소개합니다. 본 글에서는 RAPTOR의 개념, 작동 방식, 그리고 이를 활용한 검색 및 요약 성능 향상에 대해 자세히 설명드리겠습니다. 특히, 긴글과 Long Context 문제를 해결하기 위한 트리 기반 요약 및 검색 시스템의 강점을 중점적으로 다룹니다. 1. Introduction긴글과 Long Context의 과제RAG(Retrieval-Augmented Generation) 시스템은 긴 문서 또는 복잡한 Long Context를 처리하는 데 한계를 가지고 있습니다.문제점:대형 언어 모델(LLM)의 입력 길이 제한.긴 문서에서 효율적으로 정보를 검색하기 어려움.계산 비용 증가와 성능 저하... 2024. 11. 20. 이전 1 다음
