Only Advance

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 처리하는 기술로, 문장 간의 유사도 평가와 의미적 관계를 분석하는 데 많은 연구가 진행되고 있습니다. 이러한 연구에서 중요한 역할을 하는 데이터셋들이 있으며, 이번 포스팅에서는 NLP에서 자주 사용되는 문장 유사도 및 의미 관계 평가 데이터셋을 정리해보겠습니다.1. STS-B (Semantic Textual Similarity Benchmark)용도: 두 문장 사이의 semantic similarity (의미적 유사도)의 정도를 평가언어: 영어데이터셋 규모: 8,628쌍평가 방식: (0~5)링크: https://paperswithcode.com/dataset/sts-benchmarkSTS-B는 두 문장의 의미적 유사도를 수치적으로 평가할 수 있는 데..

1. 테이블 존재 여부 확인 (check_table 함수)먼저, CSV 파일로 테이블을 생성하기 전에 해당 테이블이 이미 존재하는지 확인하는 과정이 필요합니다. 이를 위해 check_table 함수를 사용합니다.def check_table(db_connect,table_name): check_table_query = f""" SELECT EXISTS ( SELECT FROM pg_tables WHERE tablename = '{table_name}' ); """ with db_connect.cursor() as cur: cur.execute(check_table_query) result = cur.fetchone()[0] ..

Dockerfile은 컨테이너 이미지를 정의하기 위한 필수 파일로, 다양한 명령어를 통해 이미지 내부 환경을 구성할 수 있습니다. 이번 포스팅에서는 Dockerfile에서 자주 사용되는 명령어들의 기능과 사용법을 정리해보겠습니다.1. ADD 파일 또는 디렉토리를 컨테이너 안으로 복사하는 명령어입니다.URL을 통해 파일을 복사할 수 있습니다.압축 파일을 자동으로 압축 해제하여 복사합니다.ADD ADD https://example.com/file.tar.gz /app2. COPY호스트의 파일 또는 디렉토리를 컨테이너 안으로 복사하는 명령어입니다.압축 파일은 자동으로 압축 해제되지 않으며, 로컬 파일에만 적용됩니다.COPY COPY ./source /app 3. CMD컨테이너가 실행될 때 기본적으로 실행될..

실행환경Ubuntu 22.041. apt repository set up# Add Docker's official GPG key:sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.asc# Add the repository to Apt sources:echo \ "deb [arch=$(dpkg --print-architecture) signed..