Only Advance

이번 포스팅에서는 Snowflake의 Virtual Warehouse를 생성하고 관리하는 방법에 대해 알아보겠습니다. Virtual Warehouse는 Snowflake에서 데이터를 처리하는 컴퓨팅 자원으로, 워크로드에 맞게 유연하게 관리할 수 있습니다. 이번 실습에서는 Virtual Warehouse를 생성하고, 크기 및 상태 관리, 동작 설정 등을 다루겠습니다. 1. Virtual Warehouse 생성Virtual Warehouse를 생성하고 기본 설정을 지정합니다.USE ROLE SYSADMIN;CREATE WAREHOUSE DATA_ANALYSIS_WAREHOUSE WAREHOUSE_SIZE = 'SMALL' -- Small 사이즈로 설정AUTO_SUSPEND = 600 -- 10..

이번 포스팅에서는 Snowflake에서 Masking Policy와 Row Access Policy를 관리하는 방법에 대해 알아보겠습니다. Snowflake에서 데이터베이스와 권한을 어떻게 관리하는지 확인할 수 있습니다.1. 데이터베이스 및 테이블 생성먼저 실습을 위한 데이터베이스와 테이블을 생성합니다.USE ROLE SYSADMIN;CREATE DATABASE SALES_DB;CREATE SCHEMA SALES_SCHEMA;CREATE TABLE CUSTOMERS ( ID NUMBER, NAME STRING, EMAIL STRING, COUNTRY_CODE STRING);INSERT INTO CUSTOMERS VALUES (138763, 'ABC','ABC@gmail.com' ,'IN'), (..

이번 포스팅에서는 HuggingFace Embedding 모델을 활용하여 문장 쌍의 유사도를 계산하고, 모델의 성능을 평가하는 과정을 다룹니다. PAWS 한국어 데이터셋을 사용하여 모델을 Finetuning하고, 각 모델을 평가하며, 모델 성능을 확인해보겠습니다. 데이터셋 설명PAWS(Paraphrase Adversaries from Word Scrambling) 데이터셋은 문장 쌍이 의미적으로 같은지 여부를 나타내는 데이터셋입니다. 이 데이터셋을 통해 우리는 문장 임베딩의 유사도를 평가할 수 있습니다. 훈련, 테스트, 검증 데이터셋으로 나누어져 있으며, 각 데이터셋은 학습 과정과 평가에 사용됩니다. 특히, PAWS는 유사한 문장의 순서가 바뀌었을 때 모델이 그 차이를 얼마나 잘 구별하는지를 평가할 수 ..

이번 포스팅에서는 Snowflake에서 Role-based access control (RBAC)와 Discretionary Access Control (DAC)를 기반으로 역할 및 권한 관리하는 방법에 대해 다뤄보겠습니다. Snowflake 환경에서 진행되며, 기본적인 역할 정의 및 권한 부여, 사용자 생성과 같은 내용을 포함하고 있습니다. 1. RBAC 및 DAC 개념Role-based Access Control (RBAC)RBAC는 사용자에게 할당된 역할(Role)을 기반으로 시스템 리소스에 대한 액세스를 제어하는 방식입니다. 즉, 역할에 따라 특정 리소스에 대한 권한을 부여하고, 사용자는 할당된 역할에 따라 리소스에 접근할 수 있습니다.Discretionary Access Control (DAC)..

안녕하세요! 이번 포스팅에서는 Docker를 이용하여 PostgreSQL 데이터베이스와 데이터 생성기를 연동하는 방법에 대해 설명하겠습니다. 이 과정을 통해, 컨테이너 기반 환경에서 데이터베이스와 데이터를 자동으로 생성하여 PostgreSQL로 삽입하는 데이터 생성기를 구축해볼 수 있습니다.0. 시스테 구조 구조1.docker-compose.yaml 파일 만들기이 파일은 PostgreSQL 서버와 data_generator라는 컨테이너를 정의하고, 두 컨테이너 간의 의존성을 설정합니다.services: postgres-server: image: postgres:14.0 container_name: postgres-server ports: - 5432:5432 environ..

GCP(Google Cloud Platform)에서 SSH 접속을 설정하는 것은 클라우드 서버 관리의 필수 단계 중 하나입니다. 이번 글에서는 Public Key를 생성하고 GCP에 추가하는 방법과 VS Code를 통해 원격 서버에 접속하는 방법을 단계별로 설명드리겠습니다. 1. SSH 접속용 Public Key 생성먼저 로컬 환경에서 원격 서버로 안전하게 접속할 수 있도록 SSH 키를 생성해 보겠습니다. SSH 키는 Public Key와 Private Key로 구성되며, 이를 통해 인증 과정을 진행합니다.ssh-keygen -t rsa -f [저장경로/파일명] -C [gcp id] -b 2048 위 명령어를 입력하면, SSH 키가 생성됩니다.-t rsa: RSA 방식으로 키를 생성-f [저장경로/파일명..