Only Advance

LangChain은 LLM(Large Language Models)을 기반으로 한 다양한 작업을 수행할 수 있는 강력한 프레임워크입니다. 특히, 긴 텍스트를 정리하거나 재배열하는 데 매우 유용한 도구 중 하나가 LongTextReorder입니다. 이 글에서는 LongTextReorder를 사용하는 방법과 그 활용 사례를 소개합니다. 1. LongTextReorder란 무엇인가?LongTextReorder는 긴 텍스트를 보다 논리적이고 체계적인 방식으로 재구성하는 데 사용됩니다. 예를 들어, 긴 문서가 섹션 간의 논리적 연결이 부족하거나 내용의 순서가 혼란스러운 경우, 이 도구를 활용하면 간결하고 구조화된 문서로 변환할 수 있습니다. 2. LongTextReorder 사용법필수 라이브러리 설치먼저 Lang..

OpenAI API를 사용할 때 다량의 데이터를 처리해야 하는 경우, Batch 실행 방식은 효율적인 선택입니다. LangChain 라이브러리는 이를 간단하고 직관적으로 지원하는 도구입니다. 이 글에서는 LangChain의 ChatOpenAI와 batch() 메서드를 활용해 OpenAI Batch 처리를 간단히 구현하는 방법을 소개합니다.  1. LangChain과 Batch 처리란?LangChain은 OpenAI와 같은 LLM을 효과적으로 활용하기 위한 고급 Python 라이브러리입니다. Batch 처리는 여러 프롬프트를 한 번에 묶어 처리하는 방식으로, 대량의 데이터를 효율적으로 관리할 수 있습니다.LangChain Batch 처리의 장점간결한 코드: 몇 줄의 코드로 여러 요청을 처리할 수 있습니다...

이 튜토리얼에서는 LangGraph와 LangChain을 사용해 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 방법을 소개합니다. 이 시스템은 PDF 문서의 정보를 벡터 형태로 저장하고, 질문에 대한 답변을 생성하기 위해 관련된 정보를 검색한 후 LLM을 통해 응답을 생성합니다. 아래 코드와 설명을 통해 LangGraph의 활용 방식과 구현 과정을 살펴보겠습니다.LangGraph란 무엇인가?LangGraph는 데이터 처리나 시스템 구성에서 워크플로우를 그래프 형태로 표현하고 제어할 수 있도록 설계된 라이브러리입니다. 특히 LangGraph는 대화형 AI나 RAG 시스템과 같은 다단계 데이터 처리 시스템을 구축하는 데 적합합니다. 각 단계에서의 작업(노드)과 노드 간의 ..

랭스미스(Lang Smith)란? LangSmith는 LLM 애플리케이션을 구축하기 위한 플랫폼입니다. 이를 통해 애플리케이션을 모니터링하고 데이터셋을 통해 성능을 평가할 수 있습니다. 랭스미스 기능 LLM 모델의 대답 및 성능 모니터링 기능 데이터셋 저장 기능 데이터셋을 통한 성능 평가 기능 사용 방법 1. 랭스미스 API 키 발급 ( 설정 > Create Api Key ) 2. 환경 변수 설정 os.environ["LANGCHAIN_TRACING_V2"]="true" os.environ["LANGCHAIN_ENDPOINT"]="https://api.smith.langchain.com" os.environ["LANGCHAIN_API_KEY"]="{개인API키}" os.environ["LANGCHAIN_..

LLM이란?대형 언어 모델(LLM:Large Language Model)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델입니다. 트랜스포머의 인코더 구조를 통해 텍스트의 기본 문법, 언어 및 지식을 이해하고, 디코더 구조를 통해 문장을 생성합니다.LLM 목적LLM은 자연어 텍스트의 말뭉치를 분석하여 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답을 생성하는 것이 목적입니다.LLM 구조트랜스포머 모델을 기본으로 하고 있으며- 인코더를 기본으로 BERT 계열 모델이 발전하였고 자연어를 이해하는데 강점을 두고 있습니다.- 디코더를 기본으로 GPT 계열 모델이 발전하였고 자연어를 생성하는데 강점을 두고 있습니다.RAG(Retrieval Augmented Generation..