Only Advance

Python에서 정규표현식(Regular Expressions)은 강력한 문자열 검색 및 처리 도구입니다. 이를 가능하게 하는 표준 라이브러리가 바로 re 모듈입니다. 이 포스팅에서는 re 모듈의 주요 기능과 활용 사례를 살펴봅니다.1. 정규표현식이란?정규표현식은 문자열에서 특정 패턴을 찾고, 추출하거나, 치환하는 데 사용됩니다. 예를 들어, 이메일 주소나 전화번호 같은 패턴을 인식하거나 텍스트 데이터를 전처리할 때 유용합니다. 2. Python의 re 모듈 주요 함수Python의 re 모듈에는 다양한 함수가 포함되어 있습니다. 자주 사용되는 몇 가지를 소개합니다:re.match(pattern, string): 문자열의 시작 부분이 패턴과 일치하는지 확인합니다.re.search(pattern, strin..

LangChain은 LLM(Large Language Models)을 기반으로 한 다양한 작업을 수행할 수 있는 강력한 프레임워크입니다. 특히, 긴 텍스트를 정리하거나 재배열하는 데 매우 유용한 도구 중 하나가 LongTextReorder입니다. 이 글에서는 LongTextReorder를 사용하는 방법과 그 활용 사례를 소개합니다. 1. LongTextReorder란 무엇인가?LongTextReorder는 긴 텍스트를 보다 논리적이고 체계적인 방식으로 재구성하는 데 사용됩니다. 예를 들어, 긴 문서가 섹션 간의 논리적 연결이 부족하거나 내용의 순서가 혼란스러운 경우, 이 도구를 활용하면 간결하고 구조화된 문서로 변환할 수 있습니다. 2. LongTextReorder 사용법필수 라이브러리 설치먼저 Lang..

OpenAI API를 사용할 때 다량의 데이터를 처리해야 하는 경우, Batch 실행 방식은 효율적인 선택입니다. LangChain 라이브러리는 이를 간단하고 직관적으로 지원하는 도구입니다. 이 글에서는 LangChain의 ChatOpenAI와 batch() 메서드를 활용해 OpenAI Batch 처리를 간단히 구현하는 방법을 소개합니다.  1. LangChain과 Batch 처리란?LangChain은 OpenAI와 같은 LLM을 효과적으로 활용하기 위한 고급 Python 라이브러리입니다. Batch 처리는 여러 프롬프트를 한 번에 묶어 처리하는 방식으로, 대량의 데이터를 효율적으로 관리할 수 있습니다.LangChain Batch 처리의 장점간결한 코드: 몇 줄의 코드로 여러 요청을 처리할 수 있습니다...

Python의 내장 함수인 hasattr, getattr, setattr, delattr는 객체 속성을 동적으로 확인, 가져오기, 설정, 삭제하는 데 매우 유용합니다. 이 포스팅에서는 각 함수의 동작 원리와 활용 예제를 중심으로, Python 객체 지향 프로그래밍에서 꼭 알아야 할 개념을 다룹니다. 1. hasattr: 객체 속성 확인하기정의:객체에 특정 속성이 존재하는지 확인합니다.형식: hasattr(object, name)반환값: True(존재함) 또는 False(존재하지 않음).class Person: def __init__(self, name): self.name = namep = Person("Alice")# 속성 확인print(hasattr(p, "name")) # Tru..

클라우드 컴퓨팅은 현대 IT의 중심에 있으며, 서비스 제공 방식에 따라 다양한 유형으로 나뉩니다. SaaS(Software as a Service), IaaS(Infrastructure as a Service), PaaS(Platform as a Service), 그리고 Kaas(Kubernetes as a Service)는 그중 대표적인 예입니다. 이 글에서는 각 서비스의 정의, 장단점, 사용 사례를 비교하여 클라우드 전략 선택에 도움을 드립니다.1. SaaS(Software as a Service)정의SaaS는 클라우드에서 소프트웨어를 제공하는 서비스로, 사용자는 브라우저를 통해 애플리케이션에 접근할 수 있습니다. 소프트웨어 설치 및 유지보수가 필요 없으며, 구독형 모델로 운영됩니다.특징소프트웨어가 ..

1. Make란?Make는 시각적 인터페이스를 통해 워크플로우를 구축하는 자동화 도구입니다. 주로 비즈니스 사용자와 개발자 모두에게 적합한 도구로, 강력한 데이터 변환 기능을 제공합니다.주요 특징:1,000개 이상의 앱 및 서비스와 통합 가능.비주얼 빌더를 통해 복잡한 워크플로우를 직관적으로 생성.조건부 작업, 데이터 필터링, 루프 등의 고급 기능 제공.클라우드 기반으로 작동하며 브라우저에서 바로 사용 가능.장점:직관적인 인터페이스로 누구나 쉽게 사용 가능.다양한 데이터 변환 및 조건 설정 가능.대규모 비즈니스 프로세스 자동화에 적합.단점:무료 플랜의 기능 제한(월간 실행 횟수 제한).완전한 오픈 소스가 아니므로 자체 호스팅 불가.2. Zapier란?Zapier는 간단한 워크플로우 자동화를 위해 만들어진..

Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG 1. IntroductionRAG시스템은 대규모 언어 모델이 외부 정보를 활용하여 생성 품질을 높일 수 있도록 설계되었습니다. 특히, 긴 문맥을 처리할 수 있는 LLM이 발전하면서 더 많은 검색 결과를 활용하여 지능형 답변을 생성할 수 있는 가능성이 열렸습니다. 하지만 연구에 따르면 검색 결과가 많아질수록 성능이 초기에는 향상되다가, 이후에는 불필요하거나 부정확한 정보(Hard Negatives)로 인해 성능이 저하되는 문제가 발생합니다.이 글에서는 논문 "Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs i..

긴 문서를 효율적으로 처리하고, Long Context 문제를 해결하는 새로운 RAG 시스템, RAPTOR를 소개합니다. 본 글에서는 RAPTOR의 개념, 작동 방식, 그리고 이를 활용한 검색 및 요약 성능 향상에 대해 자세히 설명드리겠습니다. 특히, 긴글과 Long Context 문제를 해결하기 위한 트리 기반 요약 및 검색 시스템의 강점을 중점적으로 다룹니다.  1. Introduction긴글과 Long Context의 과제RAG(Retrieval-Augmented Generation) 시스템은 긴 문서 또는 복잡한 Long Context를 처리하는 데 한계를 가지고 있습니다.문제점:대형 언어 모델(LLM)의 입력 길이 제한.긴 문서에서 효율적으로 정보를 검색하기 어려움.계산 비용 증가와 성능 저하...

DockerOperator란?Apache Airflow에서 Docker 컨테이너를 실행 및 관리할 수 있는 강력한 도구입니다.데이터 파이프라인, CI/CD 워크플로우, 머신러닝 모델 배포 자동화 등 다양한 작업에 사용됩니다. 왜 원격 Docker Daemon이 필요한가?분산 작업: Docker Daemon이 실행되는 별도의 서버에서 리소스를 활용하여 작업을 분산할 수 있습니다.클러스터 활용: 여러 Docker Daemon과 연결하여 확장 가능한 파이프라인을 구축할 수 있습니다. 환경 준비 및 사전 설정Airflow 설치:pip install apache-airflowpip install apache-airflow-providers-docker Docker 설치:https://only-advance.tis..

GPU를 활용한 작업은 딥러닝, AI 모델 학습, 3D 렌더링, 게임 개발 등 다양한 분야에서 필수적입니다. 특히 GPU의 자원을 효율적으로 사용하는 것은 작업 성능과 직결됩니다. 이번 포스팅에서는 nvidia-smi 명령어를 사용해 GPU 상태를 실시간으로 모니터링하는 방법과 활용 사례를 소개합니다.1. nvidia-smi란 무엇인가?**nvidia-smi**는 NVIDIA GPU에서 제공하는 CLI 기반의 관리 도구로, 다음과 같은 정보를 제공합니다:GPU 사용률메모리 사용량온도전력 소비량프로세스 목록이를 통해 GPU의 성능 및 상태를 확인하고, 문제를 빠르게 진단할 수 있습니다.2. 실시간 GPU 모니터링 명령어nvidia-smi 명령어는 한 번 실행으로 GPU 정보를 출력합니다. 하지만, 실시간으..