반응형 llm11 [LLM] LangGraph를 활용한 RAG 시스템 구축 가이드 이 튜토리얼에서는 LangGraph와 LangChain을 사용해 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 방법을 소개합니다. 이 시스템은 PDF 문서의 정보를 벡터 형태로 저장하고, 질문에 대한 답변을 생성하기 위해 관련된 정보를 검색한 후 LLM을 통해 응답을 생성합니다. 아래 코드와 설명을 통해 LangGraph의 활용 방식과 구현 과정을 살펴보겠습니다.LangGraph란 무엇인가?LangGraph는 데이터 처리나 시스템 구성에서 워크플로우를 그래프 형태로 표현하고 제어할 수 있도록 설계된 라이브러리입니다. 특히 LangGraph는 대화형 AI나 RAG 시스템과 같은 다단계 데이터 처리 시스템을 구축하는 데 적합합니다. 각 단계에서의 작업(노드)과 노드 간의 .. 2024. 10. 28. [LLM] STS(Sentence Textual Similarity) 계산 방법 정리 1. STS(Sentence Textual Similarity) 이란?STS는 두 문장의 의미적 유사성을 평가하는 방법입니다. 문장 벡터 간의 유사도를 계산한 후, 그 값을 실제 라벨과 비교하여 성능을 평가합니다. 라벨은 0~5 사이의 연속적인 값으로 주어질 수 있고, 0 또는 1로 이진화된 경우도 있습니다. 이에 따라 평가 방법도 달라집니다.1.1 Cosine Similarity코사인 유사도는 두 벡터 간의 각도를 이용하여 문장 간 유사도를 계산합니다. 두 벡터가 이루는 각도가 작을수록 유사하다고 평가합니다.계산식:$$ Cosine Similarity = \frac{A \cdot B}{\|A\| \|B\|} $$여기서:$ A \cdot B $ 두 벡터의 내적입니다.$ \| A \| 와 \| B \| $.. 2024. 10. 11. [LLM] PAWS-X 한국어 데이터셋을 이용한 HuggingFace Embedding 모델 Finetuning 이번 포스팅에서는 HuggingFace Embedding 모델을 활용하여 문장 쌍의 유사도를 계산하고, 모델의 성능을 평가하는 과정을 다룹니다. PAWS 한국어 데이터셋을 사용하여 모델을 Finetuning하고, 각 모델을 평가하며, 모델 성능을 확인해보겠습니다. 데이터셋 설명PAWS(Paraphrase Adversaries from Word Scrambling) 데이터셋은 문장 쌍이 의미적으로 같은지 여부를 나타내는 데이터셋입니다. 이 데이터셋을 통해 우리는 문장 임베딩의 유사도를 평가할 수 있습니다. 훈련, 테스트, 검증 데이터셋으로 나누어져 있으며, 각 데이터셋은 학습 과정과 평가에 사용됩니다. 특히, PAWS는 유사한 문장의 순서가 바뀌었을 때 모델이 그 차이를 얼마나 잘 구별하는지를 평가할 수 .. 2024. 10. 8. 랭스미스(Lang Smith)란? 랭스미스(Lang Smith)란? LangSmith는 LLM 애플리케이션을 구축하기 위한 플랫폼입니다. 이를 통해 애플리케이션을 모니터링하고 데이터셋을 통해 성능을 평가할 수 있습니다. 랭스미스 기능 LLM 모델의 대답 및 성능 모니터링 기능 데이터셋 저장 기능 데이터셋을 통한 성능 평가 기능 사용 방법 1. 랭스미스 API 키 발급 ( 설정 > Create Api Key ) 2. 환경 변수 설정 os.environ["LANGCHAIN_TRACING_V2"]="true" os.environ["LANGCHAIN_ENDPOINT"]="https://api.smith.langchain.com" os.environ["LANGCHAIN_API_KEY"]="{개인API키}" os.environ["LANGCHAIN_.. 2024. 4. 6. 랭체인(Langchain)을 이용한 RAG(Retrieval Augmented Generation) 시스템이란? LLM이란?대형 언어 모델(LLM:Large Language Model)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델입니다. 트랜스포머의 인코더 구조를 통해 텍스트의 기본 문법, 언어 및 지식을 이해하고, 디코더 구조를 통해 문장을 생성합니다.LLM 목적LLM은 자연어 텍스트의 말뭉치를 분석하여 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답을 생성하는 것이 목적입니다.LLM 구조트랜스포머 모델을 기본으로 하고 있으며- 인코더를 기본으로 BERT 계열 모델이 발전하였고 자연어를 이해하는데 강점을 두고 있습니다.- 디코더를 기본으로 GPT 계열 모델이 발전하였고 자연어를 생성하는데 강점을 두고 있습니다.RAG(Retrieval Augmented Generation.. 2024. 4. 5. 이전 1 2 다음 반응형
