본문 바로가기
반응형

전체 글58

[Snowflake] Snowflake SnowPro Core 시험 Cheat Sheet 6 (데이터 보호 및 데이터 공유) 6. 데이터 보호 및 데이터 공유6.1 Snowflake를 통한 지속적 데이터 보호1) Time Travel 개념: Time Travel은 특정 시점의 데이터를 복구할 수 있는 기능입니다. 실수로 데이터를 삭제하거나 잘못 변경했을 때 과거 상태로 되돌릴 수 있습니다.설정 가능 기간: 기본적으로 1일로 설정되며, Enterprise 플랜 이상에서는 최대 90일까지 설정 가능합니다.복구 방법:SELECT ... AT 절을 사용하여 특정 시간의 데이터를 조회할 수 있습니다.UNDROP 명령어를 사용해 삭제된 테이블을 복구할 수 있습니다.예시: SELECT * FROM table_name AT (TIMESTAMP => '2024-01-01T00:00:00'); 2) Fail-Safe 개념: Time Travel.. 2024. 11. 2.
[Snowflake] Snowflake SnowPro Core 시험 Cheat Sheet 5 (데이터 변환) 5. 데이터 변환5.1 표준 데이터로 작업하는 방법에 대해 설명하기Snowflake에서 표준 데이터는 정형화된 테이블 형태의 데이터를 의미하며, 다양한 내장 함수와 명령어를 통해 이러한 데이터를 변환하고 분석할 수 있습니다. Snowflake는 특히 대규모 데이터셋을 효과적으로 처리할 수 있는 기능을 제공하여 성능을 높이고 데이터 관리에 효율성을 더합니다.1) 추정 함수 (Approximation Functions) 설명: 추정 함수는 데이터 집합에 대해 근사 계산을 수행하여 성능을 최적화하는 기능을 제공합니다. 큰 데이터 집합에서는 정확한 결과를 계산하는 데 많은 리소스와 시간이 소요될 수 있습니다. Snowflake의 추정 함수는 이를 효율적으로 처리하기 위해 근사값을 계산합니다. 성능이 중요한 상황.. 2024. 10. 29.
[Snowflake] SnowPro Core 시험 Cheat Sheet 4(데이터 로드 및 언로드) 4. 데이터 로드 및 언로드Snowflake의 데이터 로드 및 언로드 작업은 데이터를 효율적으로 Snowflake에 저장하거나 외부로 전송하는 데 필수적인 과정입니다. 여기에는 다양한 기능과 명령어를 통해 데이터 로드 및 언로드 성능을 최적화하는 방법이 포함됩니다.4.1 데이터 로드 시 고려해야 할 개념과 수행해야 할 모범 사례 정의하기Snowflake에 데이터를 로드할 때는 스테이지, 파일 크기와 형식, 폴더 구조, 로드 방식 및 Snowpipe 설정 등을 고려하여 데이터를 효율적으로 관리해야 합니다.1) 스테이지 및 스테이지 유형Snowflake에서 데이터를 로드하기 위한 임시 스토리지인 스테이지에는 내부 스테이지와 외부 스테이지가 있으며, 각 유형에 따라 로드 방식이 달라집니다. 내부 스테이지 생성.. 2024. 10. 29.
[Snowflake] Snowflake SnowPro Core 시험 Cheat Sheet 3 (성능 개념) 3. 성능 개념3.1 Query Profile의 사용 방법에 대해 설명하기Query Profile은 Snowflake에서 쿼리 성능을 모니터링하고 분석하는 데 중요한 도구로, 쿼리의 실행 계획, 데이터 처리 방식, 캐시 사용 등을 확인하고 성능을 최적화할 수 있습니다. 이를 통해 성능 저하의 원인을 파악하고 개선점을 발견할 수 있습니다.1) 실행 계획 (Execution Plan)설명: Query Profile의 실행 계획은 쿼리의 각 단계별 작업 방식과 소요 시간을 시각적으로 보여주는 구조로, 쿼리가 수행되는 과정을 이해하는 데 중요한 정보입니다.기능: 실행 계획을 통해 특정 쿼리가 데이터에 접근하고 처리하는 방식을 파악하여, 쿼리 단계별 성능 문제를 진단할 수 있습니다. 실행 계획을 분석하여 데이터 .. 2024. 10. 29.
[LLM] LangGraph를 활용한 RAG 시스템 구축 가이드 이 튜토리얼에서는 LangGraph와 LangChain을 사용해 RAG(Retrieval-Augmented Generation) 시스템을 구축하는 방법을 소개합니다. 이 시스템은 PDF 문서의 정보를 벡터 형태로 저장하고, 질문에 대한 답변을 생성하기 위해 관련된 정보를 검색한 후 LLM을 통해 응답을 생성합니다. 아래 코드와 설명을 통해 LangGraph의 활용 방식과 구현 과정을 살펴보겠습니다.LangGraph란 무엇인가?LangGraph는 데이터 처리나 시스템 구성에서 워크플로우를 그래프 형태로 표현하고 제어할 수 있도록 설계된 라이브러리입니다. 특히 LangGraph는 대화형 AI나 RAG 시스템과 같은 다단계 데이터 처리 시스템을 구축하는 데 적합합니다. 각 단계에서의 작업(노드)과 노드 간의 .. 2024. 10. 28.
[Snowflake] SnowPro Core 시험 Cheat Sheet 2 (계정 액세스 및 보안) 2. 계정 액세스 및 보안2.1 보안 원칙에 대해 간략히 설명하기1) 네트워크 보안 및 정책개념: Snowflake는 클라우드 환경에서 외부 네트워크를 통한 데이터 접근을 제한하기 위해 네트워크 정책을 설정합니다. 네트워크 정책은 승인된 IP 주소에서만 Snowflake에 접근할 수 있도록 제어하는 보안 조치입니다.기능: 관리자는 특정 IP 주소나 IP 범위를 화이트리스트에 추가하여 접근을 제한할 수 있으며, 필요 시 IP 주소 기반으로 네트워크 정책을 강화할 수 있습니다. 네트워크 정책은 관리 콘솔에서 손쉽게 설정하고 수정할 수 있으며, ACCOUNTADMIN 또는 SECURITYADMIN 권한을 가진 사용자에 의해 주로 관리됩니다.장점: 이 설정을 통해 승인된 네트워크에서만 접근이 가능하도록 하여, .. 2024. 10. 27.
반응형

티스토리툴바