[2026-data-engineering-zoomcamp] Analytics Engineering이란?- 4주차

 

해외 Data Engineering 부트캠프 Data Engineering Zoom Camp 

4주차 Analytics Engineering 내용 개인 강의 노트입니다.

 

https://github.com/DataTalksClub/data-engineering-zoomcamp

GitHub - DataTalksClub/data-engineering-zoomcamp: Data Engineering Zoomcamp is a free 9-week course on building production-ready

 

 

주로 캡쳐와 메모 위주이긴 하지만

나중에 기억하기 위해 아카이브 목적으로 업로드 해두려고 합니다.

* 강의에서 제공되는 유튜브 코스를 순서대로 정리했습니다.

---

 

 

코스목표

---

• Analytics Egineering 이해
• dbt 실습

 

 

준비사항

---

링크

• https://github.com/DataTalksClub/data-engineering-zoomcamp/tree/main/04-analytics-engineering
• dbt 공식 코스: https://learn.getdbt.com/courses/dbt-fundamentals

dbt Fundamentals (dbt Studio)

 

data-engineering-zoomcamp/04-analytics-engineering at main · DataTalksClub/data-engineering-zoomcamp

 

 

 

 

 

 

 

 

 

 

 

강의 내용

---

 

What is Analytics Engineering?

 

https://www.youtube.com/watch?v=HxMIsPrIyGQ

 

 

 

ETL vs ELT란?

https://www.youtube.com/watch?v=uF76d5EmdtU&list=PL3MmuxUbc_hJed7dXYoJw8DoCuVHhGEQb&index=41

 

 

 

 

 

 

 

 

 

 

https://www.youtube.com/watch?v=gsKuETFJr54&list=PL3MmuxUbc_hJed7dXYoJw8DoCuVHhGEQb&index=31

 

 

 

 

https://www.youtube.com/watch?v=auzcdLRyEIk

 

 

dbt core와 cloud의 차이점

• 로컬에서 사용하냐
• SaaS로 사용하냐

 

실습환경세팅

https://www.youtube.com/watch?v=GFbwlrt6f54

 

dbt setup

• 빅쿼리 API 및 IAM 설정
• dbt 클라우드 계정 및 브랜치 생성

 

 

https://www.youtube.com/watch?v=2dYDS4OQbT0

 

dbt structure 관련 내용

 

dbt structure 관련 내용

 

기본 dbt 디렉토리 구조

• analyses
  • 별도의 저장공간으로 사용
  • 실제 dbt 작동과는 무관한 디렉토리
• dbt_project.yml
  • 기본 프로젝트 정보 설정 파일
• macros
  • 파이썬 펑션처럼 재사용 가능한 로직을 저장
• seeds
  • 정적 파일 업로드 디렉토리 (e.g. csv, plat file)
  • 하드파일방식이므로 테스트나 별도의 목적으로 사용 권장
• snapshots
  • 테이블 단위로 스냅샷을 저장하는 디렉토리
  • 히스토리 트래킹에 용이
• tests
  • 0건 이상의 row를 반환할 경우 실패로 판단하는 sql 로직 저장소
• models
  • dbt suggests 3 subfolders (but, 메달리온 아키텍쳐, 혹은 별도의 회사 내의 레이어 적용 가능)
    • staging
      • raw sources 관리
      • 실제 raw 데이터와 1:1 관계로 관리하며 아래 항목을 설정
        • 데이터 타입
        • 컬럼명 재설정
    • intermediate
      • DW 레벨의 데이터 쿼리 관리하는 디렉토리
    • marts
      • 마트 레벨 데이터 쿼리 관리하는 디렉토리
      • 대시보드, 모델 대상 실제 사용할 엔드 데이터

 

https://www.youtube.com/watch?v=7CrrXazV_8k

 

 

 

https://www.youtube.com/watch?v=JQYz-8sl1aQ

 

 

 

- source 기반으로 Raw 데이터를 갱신함

 

 

 

 

 

참고자료

 

https://westshine-data-analysis.tistory.com/170

[dbt] dbt는 무엇이고, 언제 활용될까?

 

https://zzsza.github.io/data-engineering/2025/01/16/dbt-core/

dbt 사용법과 기본 개념