Only Advance

Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG 1. IntroductionRAG시스템은 대규모 언어 모델이 외부 정보를 활용하여 생성 품질을 높일 수 있도록 설계되었습니다. 특히, 긴 문맥을 처리할 수 있는 LLM이 발전하면서 더 많은 검색 결과를 활용하여 지능형 답변을 생성할 수 있는 가능성이 열렸습니다. 하지만 연구에 따르면 검색 결과가 많아질수록 성능이 초기에는 향상되다가, 이후에는 불필요하거나 부정확한 정보(Hard Negatives)로 인해 성능이 저하되는 문제가 발생합니다.이 글에서는 논문 "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs i..

긴 문서를 효율적으로 처리하고, Long Context 문제를 해결하는 새로운 RAG 시스템, RAPTOR를 소개합니다. 본 글에서는 RAPTOR의 개념, 작동 방식, 그리고 이를 활용한 검색 및 요약 성능 향상에 대해 자세히 설명드리겠습니다. 특히, 긴글과 Long Context 문제를 해결하기 위한 트리 기반 요약 및 검색 시스템의 강점을 중점적으로 다룹니다.  1. Introduction긴글과 Long Context의 과제RAG(Retrieval-Augmented Generation) 시스템은 긴 문서 또는 복잡한 Long Context를 처리하는 데 한계를 가지고 있습니다.문제점:대형 언어 모델(LLM)의 입력 길이 제한.긴 문서에서 효율적으로 정보를 검색하기 어려움.계산 비용 증가와 성능 저하...

이 튜토리얼에서는 LangGraph와 LangChain을 사용해 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 방법을 소개합니다. 이 시스템은 PDF 문서의 정보를 벡터 형태로 저장하고, 질문에 대한 답변을 생성하기 위해 관련된 정보를 검색한 후 LLM을 통해 응답을 생성합니다. 아래 코드와 설명을 통해 LangGraph의 활용 방식과 구현 과정을 살펴보겠습니다.LangGraph란 무엇인가?LangGraph는 데이터 처리나 시스템 구성에서 워크플로우를 그래프 형태로 표현하고 제어할 수 있도록 설계된 라이브러리입니다. 특히 LangGraph는 대화형 AI나 RAG 시스템과 같은 다단계 데이터 처리 시스템을 구축하는 데 적합합니다. 각 단계에서의 작업(노드)과 노드 간의 ..

랭스미스(Lang Smith)란? LangSmith는 LLM 애플리케이션을 구축하기 위한 플랫폼입니다. 이를 통해 애플리케이션을 모니터링하고 데이터셋을 통해 성능을 평가할 수 있습니다. 랭스미스 기능 LLM 모델의 대답 및 성능 모니터링 기능 데이터셋 저장 기능 데이터셋을 통한 성능 평가 기능 사용 방법 1. 랭스미스 API 키 발급 ( 설정 > Create Api Key ) 2. 환경 변수 설정 os.environ["LANGCHAIN_TRACING_V2"]="true" os.environ["LANGCHAIN_ENDPOINT"]="https://api.smith.langchain.com" os.environ["LANGCHAIN_API_KEY"]="{개인API키}" os.environ["LANGCHAIN_..

LLM이란?대형 언어 모델(LLM:Large Language Model)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델입니다. 트랜스포머의 인코더 구조를 통해 텍스트의 기본 문법, 언어 및 지식을 이해하고, 디코더 구조를 통해 문장을 생성합니다.LLM 목적LLM은 자연어 텍스트의 말뭉치를 분석하여 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답을 생성하는 것이 목적입니다.LLM 구조트랜스포머 모델을 기본으로 하고 있으며- 인코더를 기본으로 BERT 계열 모델이 발전하였고 자연어를 이해하는데 강점을 두고 있습니다.- 디코더를 기본으로 GPT 계열 모델이 발전하였고 자연어를 생성하는데 강점을 두고 있습니다.RAG(Retrieval Augmented Generation..