Only Advance

6. 데이터 보호 및 데이터 공유6.1 Snowflake를 통한 지속적 데이터 보호1) Time Travel 개념: Time Travel은 특정 시점의 데이터를 복구할 수 있는 기능입니다. 실수로 데이터를 삭제하거나 잘못 변경했을 때 과거 상태로 되돌릴 수 있습니다.설정 가능 기간: 기본적으로 1일로 설정되며, Enterprise 플랜 이상에서는 최대 90일까지 설정 가능합니다.복구 방법:SELECT ... AT 절을 사용하여 특정 시간의 데이터를 조회할 수 있습니다.UNDROP 명령어를 사용해 삭제된 테이블을 복구할 수 있습니다.예시: SELECT * FROM table_name AT (TIMESTAMP => '2024-01-01T00:00:00'); 2) Fail-Safe 개념: Time Travel..

5. 데이터 변환5.1 표준 데이터로 작업하는 방법에 대해 설명하기Snowflake에서 표준 데이터는 정형화된 테이블 형태의 데이터를 의미하며, 다양한 내장 함수와 명령어를 통해 이러한 데이터를 변환하고 분석할 수 있습니다. Snowflake는 특히 대규모 데이터셋을 효과적으로 처리할 수 있는 기능을 제공하여 성능을 높이고 데이터 관리에 효율성을 더합니다.1) 추정 함수 (Approximation Functions) 설명: 추정 함수는 데이터 집합에 대해 근사 계산을 수행하여 성능을 최적화하는 기능을 제공합니다. 큰 데이터 집합에서는 정확한 결과를 계산하는 데 많은 리소스와 시간이 소요될 수 있습니다. Snowflake의 추정 함수는 이를 효율적으로 처리하기 위해 근사값을 계산합니다. 성능이 중요한 상황..

4. 데이터 로드 및 언로드Snowflake의 데이터 로드 및 언로드 작업은 데이터를 효율적으로 Snowflake에 저장하거나 외부로 전송하는 데 필수적인 과정입니다. 여기에는 다양한 기능과 명령어를 통해 데이터 로드 및 언로드 성능을 최적화하는 방법이 포함됩니다.4.1 데이터 로드 시 고려해야 할 개념과 수행해야 할 모범 사례 정의하기Snowflake에 데이터를 로드할 때는 스테이지, 파일 크기와 형식, 폴더 구조, 로드 방식 및 Snowpipe 설정 등을 고려하여 데이터를 효율적으로 관리해야 합니다.1) 스테이지 및 스테이지 유형Snowflake에서 데이터를 로드하기 위한 임시 스토리지인 스테이지에는 내부 스테이지와 외부 스테이지가 있으며, 각 유형에 따라 로드 방식이 달라집니다. 내부 스테이지 생성..

3. 성능 개념3.1 Query Profile의 사용 방법에 대해 설명하기Query Profile은 Snowflake에서 쿼리 성능을 모니터링하고 분석하는 데 중요한 도구로, 쿼리의 실행 계획, 데이터 처리 방식, 캐시 사용 등을 확인하고 성능을 최적화할 수 있습니다. 이를 통해 성능 저하의 원인을 파악하고 개선점을 발견할 수 있습니다.1) 실행 계획 (Execution Plan)설명: Query Profile의 실행 계획은 쿼리의 각 단계별 작업 방식과 소요 시간을 시각적으로 보여주는 구조로, 쿼리가 수행되는 과정을 이해하는 데 중요한 정보입니다.기능: 실행 계획을 통해 특정 쿼리가 데이터에 접근하고 처리하는 방식을 파악하여, 쿼리 단계별 성능 문제를 진단할 수 있습니다. 실행 계획을 분석하여 데이터 ..

2. 계정 액세스 및 보안2.1 보안 원칙에 대해 간략히 설명하기1) 네트워크 보안 및 정책개념: Snowflake는 클라우드 환경에서 외부 네트워크를 통한 데이터 접근을 제한하기 위해 네트워크 정책을 설정합니다. 네트워크 정책은 승인된 IP 주소에서만 Snowflake에 접근할 수 있도록 제어하는 보안 조치입니다.기능: 관리자는 특정 IP 주소나 IP 범위를 화이트리스트에 추가하여 접근을 제한할 수 있으며, 필요 시 IP 주소 기반으로 네트워크 정책을 강화할 수 있습니다. 네트워크 정책은 관리 콘솔에서 손쉽게 설정하고 수정할 수 있으며, ACCOUNTADMIN 또는 SECURITYADMIN 권한을 가진 사용자에 의해 주로 관리됩니다.장점: 이 설정을 통해 승인된 네트워크에서만 접근이 가능하도록 하여, ..

1. Snowflake 데이터 클라우드의 기능 및 아키텍처1.1 Snowflake 데이터 클라우드의 주요 기능1) 탄력적 스토리지 (Elastic Storage)개념: Snowflake는 데이터와 컴퓨팅 자원을 분리하여 설계되었으며, 이를 통해 스토리지와 컴퓨팅을 독립적으로 확장할 수 있습니다. 이 구조는 데이터 저장 방식과 컴퓨팅 자원을 구분하여 유연성과 비용 효율성을 제공합니다.기능: 사용자가 저장하는 모든 데이터는 Snowflake의 내부 스토리지 계층에 압축 및 암호화된 형태로 저장됩니다. 데이터가 늘어날 때 자동으로 스토리지가 확장되고 필요에 따라 축소되므로, 스토리지 용량에 대해 걱정할 필요가 없습니다.장점: 무제한에 가까운 스토리지를 제공하여 정형, 반정형, 비정형 데이터까지 관리할 수 있습..

Secure Data Sharing은 Snowflake에서 데이터베이스 오브젝트를 다른 Snowflake 계정과 공유할 수 있도록 하는 기능입니다. 데이터가 직접 전송되거나 복사되지 않아, 데이터 소비자의 저장 공간 요금에 영향을 주지 않고 공유할 수 있습니다. 컨슈머는 공유 데이터를 쿼리할 때 사용한 컴퓨팅 리소스에 대한 요금만 지불합니다.1. Secure Data Sharing 소개Secure Data Sharing으로 공유할 수 있는 데이터 오브젝트에는 데이터베이스, 테이블, 동적 테이블, 외부 테이블, Iceberg 테이블, 보안 뷰 등이 포함됩니다.2. Secure Data Sharing의 작동 방식Secure Data Sharing을 사용하면 데이터베이스를 복제하거나 전송할 필요 없이 공유할 ..

Snowflake의 Time Travel 기능을 사용하면 일정 기간 내에 변경된 데이터나 삭제된 데이터에 접근할 수 있습니다. 이를 통해 과거 데이터 복원, 데이터 백업, 실수로 삭제된 데이터 복구 등이 가능합니다.1. Snowflake Time Travel 소개Time Travel은 Snowflake의 데이터 보호 수명 주기의 일부로, 다음과 같은 작업을 지원합니다:삭제된 테이블, 스키마, 데이터베이스 복원과거의 특정 시점에 대한 데이터 복제본 생성주요 시점의 데이터를 쿼리하여 변경 내역 분석2. Time Travel SQL 확장 및 구문Time Travel을 사용하려면 AT 및 BEFORE 구문을 활용합니다:SELECT * FROM my_table AT(TIMESTAMP => 'YYYY-MM-DD H..

Snowflake는 Apache Iceberg라는 개방형 테이블 형식을 사용하여 클라우드 저장소와 연동 가능한 Iceberg 테이블을 지원합니다. Iceberg 테이블은 ACID 트랜잭션, 스키마 진화, 숨겨진 파티셔닝, 테이블 스냅샷과 같은 고급 기능을 제공하며, Snowflake와 외부 데이터 레이크를 통합하여 더욱 유연한 데이터 관리가 가능합니다. 이번 포스팅에서는 Snowflake Iceberg 테이블의 주요 기능과 활용 방법에 대해 자세히 설명드리겠습니다.Iceberg 테이블이란?Iceberg 테이블은 데이터 레이크 환경에서 관리되는 데이터를 더 쉽게 다룰 수 있도록 도와주는 개방형 테이블 형식입니다. Snowflake는 Iceberg 테이블을 통해 클라우드 저장소에 있는 데이터를 관리하며, 다..

Snowflake는 데이터 웨어하우스 플랫폼에서 데이터를 관리하고 분석하는 다양한 기능을 제공하는데, 그 중 중요한 기능 중 하나가 바로 뷰(View)입니다. 이번 포스팅에서는 Snowflake에서 뷰의 기본 개념, 종류, 그리고 실제 활용 방법을 더 깊이 있게 살펴보겠습니다. 또한 보안 뷰 및 구체화된 뷰와 같은 고급 기능도 함께 다룹니다. 1. 뷰란 무엇인가?뷰(View)는 실제 데이터를 저장하지 않고 데이터베이스 내 테이블의 쿼리 결과를 저장하는 가상의 테이블입니다. 뷰는 일반적으로 데이터에 대한 접근 제어, 복잡한 쿼리 단순화, 데이터 보호 등을 위해 사용됩니다.뷰는 실제 테이블과 유사하게 사용되며, 조인, 하위 쿼리, 그룹화 등과 같은 SQL 기능에서 사용할 수 있습니다. CREATE VIEW ..