2024/1123 [LLM] Long-Context LLMs Meet RAG: 긴글 처리와 RAG를 위한 최적화 전략 Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG 1. IntroductionRAG시스템은 대규모 언어 모델이 외부 정보를 활용하여 생성 품질을 높일 수 있도록 설계되었습니다. 특히, 긴 문맥을 처리할 수 있는 LLM이 발전하면서 더 많은 검색 결과를 활용하여 지능형 답변을 생성할 수 있는 가능성이 열렸습니다. 하지만 연구에 따르면 검색 결과가 많아질수록 성능이 초기에는 향상되다가, 이후에는 불필요하거나 부정확한 정보(Hard Negatives)로 인해 성능이 저하되는 문제가 발생합니다.이 글에서는 논문 "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs i.. 2024. 11. 21. [LLM] RAPTOR: 긴글(Long Context)을 위한 최적의 RAG 검색 전략 긴 문서를 효율적으로 처리하고, Long Context 문제를 해결하는 새로운 RAG 시스템, RAPTOR를 소개합니다. 본 글에서는 RAPTOR의 개념, 작동 방식, 그리고 이를 활용한 검색 및 요약 성능 향상에 대해 자세히 설명드리겠습니다. 특히, 긴글과 Long Context 문제를 해결하기 위한 트리 기반 요약 및 검색 시스템의 강점을 중점적으로 다룹니다. 1. Introduction긴글과 Long Context의 과제RAG(Retrieval-Augmented Generation) 시스템은 긴 문서 또는 복잡한 Long Context를 처리하는 데 한계를 가지고 있습니다.문제점:대형 언어 모델(LLM)의 입력 길이 제한.긴 문서에서 효율적으로 정보를 검색하기 어려움.계산 비용 증가와 성능 저하... 2024. 11. 20. [Airflow] DockerOperator로 원격 Docker Daemon 제어하기 DockerOperator란?Apache Airflow에서 Docker 컨테이너를 실행 및 관리할 수 있는 강력한 도구입니다.데이터 파이프라인, CI/CD 워크플로우, 머신러닝 모델 배포 자동화 등 다양한 작업에 사용됩니다. 왜 원격 Docker Daemon이 필요한가?분산 작업: Docker Daemon이 실행되는 별도의 서버에서 리소스를 활용하여 작업을 분산할 수 있습니다.클러스터 활용: 여러 Docker Daemon과 연결하여 확장 가능한 파이프라인을 구축할 수 있습니다. 환경 준비 및 사전 설정Airflow 설치:pip install apache-airflowpip install apache-airflow-providers-docker Docker 설치:https://only-advance.tis.. 2024. 11. 19. [Linux] NVIDIA GPU 모니터링 명령어와 효율적인 활용법 GPU를 활용한 작업은 딥러닝, AI 모델 학습, 3D 렌더링, 게임 개발 등 다양한 분야에서 필수적입니다. 특히 GPU의 자원을 효율적으로 사용하는 것은 작업 성능과 직결됩니다. 이번 포스팅에서는 nvidia-smi 명령어를 사용해 GPU 상태를 실시간으로 모니터링하는 방법과 활용 사례를 소개합니다.1. nvidia-smi란 무엇인가?**nvidia-smi**는 NVIDIA GPU에서 제공하는 CLI 기반의 관리 도구로, 다음과 같은 정보를 제공합니다:GPU 사용률메모리 사용량온도전력 소비량프로세스 목록이를 통해 GPU의 성능 및 상태를 확인하고, 문제를 빠르게 진단할 수 있습니다.2. 실시간 GPU 모니터링 명령어nvidia-smi 명령어는 한 번 실행으로 GPU 정보를 출력합니다. 하지만, 실시간으.. 2024. 11. 18. [Docker] NGINX란? Docker와 FastAPI를 활용한 서버 구축 실습 NGINX는 웹 서버와 리버스 프록시로 널리 사용되는 고성능 소프트웨어입니다. 이번 포스팅에서는 NGINX의 개념을 이해하고, Docker를 사용하여 NGINX와 FastAPI를 통합해 서버를 띄우는 실습을 진행하겠습니다. 1. NGINX란?1.1. NGINX의 정의NGINX(발음: 엔진엑스)는 2004년 개발된 오픈소스 소프트웨어로, 웹 서버, 리버스 프록시, 그리고 로드 밸런서 역할을 수행합니다.특히 비동기 이벤트 기반 아키텍처를 사용하여 대규모 동시 요청 처리에 강점을 보입니다.1.2. NGINX의 주요 역할웹 서버: 정적 콘텐츠(HTML, CSS, JS) 제공.리버스 프록시: 클라이언트 요청을 백엔드 서버로 전달.로드 밸런서: 트래픽을 여러 서버로 분산.캐시 서버: 콘텐츠를 캐싱해 성능 최적화.H.. 2024. 11. 17. [Cloud] MSA란? 개념과 장점, 그리고 도입 시 고려 사항 1. MSA란 무엇인가?MSA(Microservices Architecture)는 소프트웨어를 작은 독립적인 서비스들로 나누어 설계하는 아키텍처 스타일입니다. 각 서비스는 고유한 기능을 수행하며, 독립적으로 배포, 개발, 테스트가 가능합니다. 서비스들은 주로 API를 통해 서로 통신하며, 팀 간의 작업 분리를 촉진합니다.2. MSA의 핵심 개념서비스 독립성: 각 마이크로서비스는 별개의 프로세스로 작동하며, 다른 서비스와 느슨하게 결합됩니다.작은 단위의 기능: 서비스는 단일 책임 원칙(SRP)을 준수하여 작고 명확한 기능을 수행합니다.API 통신: 서비스 간 통신은 REST, gRPC, 메시지 큐(Kafka 등)와 같은 API를 통해 이루어집니다.독립적인 배포: 각 서비스는 개별적으로 배포할 수 있어 변경.. 2024. 11. 16. 이전 1 2 3 4 다음
