Only Advance

1. 테이블 존재 여부 확인 (check_table 함수)먼저, CSV 파일로 테이블을 생성하기 전에 해당 테이블이 이미 존재하는지 확인하는 과정이 필요합니다. 이를 위해 check_table 함수를 사용합니다.def check_table(db_connect,table_name): check_table_query = f""" SELECT EXISTS ( SELECT FROM pg_tables WHERE tablename = '{table_name}' ); """ with db_connect.cursor() as cur: cur.execute(check_table_query) result = cur.fetchone()[0] ..

Dockerfile은 컨테이너 이미지를 정의하기 위한 필수 파일로, 다양한 명령어를 통해 이미지 내부 환경을 구성할 수 있습니다. 이번 포스팅에서는 Dockerfile에서 자주 사용되는 명령어들의 기능과 사용법을 정리해보겠습니다.1. ADD 파일 또는 디렉토리를 컨테이너 안으로 복사하는 명령어입니다.URL을 통해 파일을 복사할 수 있습니다.압축 파일을 자동으로 압축 해제하여 복사합니다.ADD ADD https://example.com/file.tar.gz /app2. COPY호스트의 파일 또는 디렉토리를 컨테이너 안으로 복사하는 명령어입니다.압축 파일은 자동으로 압축 해제되지 않으며, 로컬 파일에만 적용됩니다.COPY COPY ./source /app 3. CMD컨테이너가 실행될 때 기본적으로 실행될..

실행환경Ubuntu 22.041. apt repository set up# Add Docker's official GPG key:sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.asc# Add the repository to Apt sources:echo \ "deb [arch=$(dpkg --print-architecture) signed..

랭체인을 이용한 RAG 시스템 PDF 데이터를 이용한 RAG시스템의 플로우차트를 그리면 다음과 같습니다. 이제 순서대로 실습을 진행하겠습니다. 저는 Attention is all you need라는 논문 PDF를 이용하여 실습을 진행하였습니다. 1. Data Loader $pip install langchain !pip install pypdf from langchain.document_loaders import PyPDFLoader loader = PyPDFLoader("attention is all you need.pdf") docs = loader.load_and_split() #page 수 만큼 Split print(type(docs)) print(len(docs)) print(docs[0]) p..

랭스미스(Lang Smith)란? LangSmith는 LLM 애플리케이션을 구축하기 위한 플랫폼입니다. 이를 통해 애플리케이션을 모니터링하고 데이터셋을 통해 성능을 평가할 수 있습니다. 랭스미스 기능 LLM 모델의 대답 및 성능 모니터링 기능 데이터셋 저장 기능 데이터셋을 통한 성능 평가 기능 사용 방법 1. 랭스미스 API 키 발급 ( 설정 > Create Api Key ) 2. 환경 변수 설정 os.environ["LANGCHAIN_TRACING_V2"]="true" os.environ["LANGCHAIN_ENDPOINT"]="https://api.smith.langchain.com" os.environ["LANGCHAIN_API_KEY"]="{개인API키}" os.environ["LANGCHAIN_..

LLM이란?대형 언어 모델(LLM:Large Language Model)은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델입니다. 트랜스포머의 인코더 구조를 통해 텍스트의 기본 문법, 언어 및 지식을 이해하고, 디코더 구조를 통해 문장을 생성합니다.LLM 목적LLM은 자연어 텍스트의 말뭉치를 분석하여 문법, 구문 및 의미적 관계를 이해하여 일관성 있고 맥락에 적합한 응답을 생성하는 것이 목적입니다.LLM 구조트랜스포머 모델을 기본으로 하고 있으며- 인코더를 기본으로 BERT 계열 모델이 발전하였고 자연어를 이해하는데 강점을 두고 있습니다.- 디코더를 기본으로 GPT 계열 모델이 발전하였고 자연어를 생성하는데 강점을 두고 있습니다.RAG(Retrieval Augmented Generation..