Joe's 라이브러리

EC2 crontab + 쉘스크립트 6개로 운영하던 데이터 수집 배치를 AWS Step Functions + Lambda 기반 서버리스 파이프라인으로 전환했다.작업하면서 생소한 개념들을 꽤 많이 만났는데, 그때그때 물어보고 받은 답변들을 모아두었다가 이번에 한 번에 정리해본다.왜 전환했나기존 구조의 문제는 크게 세 가지였다.첫째, EC2 고정 IP 문제. 같은 IP에서 반복 요청하면 외부 데이터 소스에서 IP 기반으로 요청을 제한할 수 있다. Lambda는 실행마다 IP가 바뀌므로 이 문제가 해결된다.둘째, 쉘스크립트 기반 배치의 에러 추적과 재시도 한계. 어디서 실패했는지 추적이 어렵고, 부분 재시도도 불가능하다.셋째, 서버 관리 부담. 메모리 부족, 디스크 관리, OS 패치 등 신경 쓸 게 너무 많다..

이전 글에서 이어집니다.https://joewithtech.tistory.com/95 #1 빌더 여정 기록: 전환 결심까지의 생각들데이터 엔지니어에서 프로덕트 빌더로전환하는 과정을 블로그에 기록해보려고 합니다. 나의 현재 상황나는 1년 전에 희망퇴직을 통해 퇴직했다. 직군을 두 번씩 변경해가며 약 7년간 일을 해왔joewithtech.tistory.com 뭘 만들어 볼까일단 빌더의 길을 가보자고 정했으니다음으로 드는 고민이 있었다. 이렇게 높아진 기술생산성으로무엇을 만들 것인가? 내가 고민하고 방향성을 잡아본 것은 다음과 같다. 1. SMB(Small&Mid Biz) 마켓 침투 하기 내가 선택한 전략은 오래되고 기술력이 아직 깊게 침투하지 않은 작은 시장에서만족되고 있지 않은 빈 공간을 찾아 빠르..

AI로 생성한 설명은 앞에 🤖 를 표기해두었어요. 클로드 코드 스킬이란?🤖 Claude Code에서 스킬(Skill)은 프로젝트 폴더에 넣어두는 마크다운 파일(.md)로, Claude Code가 작업할 때 참고하는 지시서기존 프로그래밍 언어의 함수와 비슷한 기능이라고 보면 된다.다만 그 함수가 자연어 프롬프트로 구성이 되어있는 것 사용법클로드 코드 실행창에 접속 위와 같이 자주 사용하는 명령어 프롬프트를 스킬로 만들고 싶다고 프롬프트를 입력하면 아래와 같이 분석 후 스킬을 자동으로 생성해준다. 사용법은 프롬프트 창에서 / 를 입력한 뒤 명명해준 스킬명을 불러오면 사용 가능 스킬의 경우 .claude 디렉토리 하위에 저장되는데이 .claude 디렉토리는 위치에 따라 적용되는 범위가 ..

인생 첫 해커톤이었던 제미나이 3 서울 해커톤 참여 후기를 작성해 보았습니다. 1. 참가 신청 및 준비 과정 인지하게 된 경위카일스쿨 성윤님의 SNS를 통해서 GDE 멘토로 제미나이 해커톤이란 곳에 참여하신 다는 것을 알게 되었다.데이터 엔지니어링만 해와서 제품과는 거리가 멀었지만 해커톤이 궁금하기도 하고 재미있어 보여서 일단 선신청 후생각 하자는 생각에 신청했는데 어느날 Approved 메일이 와서 좋았다.처음에는 선착순 신청이라는 말을 들어서, 아마 선착순인 덕분에 가능했나 보다 싶었음 팀 구성 팀 구성은 직접 디스코드 team-search 채널에서 팀원을 찾아서 구성해야 했다.평소에 나를 어필하고 직접 원하는 분을 찾는 과정을 해본적이 많지 않아서 이 단계가 생각보다 어려웠다. 연락드렸다..

Airflow 아키텍쳐에 대한 개요와 2.0 -> 3.0으로 버전이 변경될 때 변경사항을 정리했습니다. * 인프런 강의 "Airflow 마스터 클래스" 내용을 참고하였습니다. 아키텍쳐 Airflow 버전별 구조 3.0 아키텍쳐의 컴포넌트schedulerdag_processortriggerworker웹서버 (api)meta db2.0과 비교했을 때 가운데 API Server Layer가 추가된 것이 가장 큰 변화모든 컴포넌트가 Meta DB에 붙게되면 보안이슈: 개별 컴포넌트가 DB의 모든 정보에 접근할 수 있게되므로 보안 이슈에 상대적으로 취약한 구조많은 세션으로 인한 DB 과부하: I/O가 증가하면서 성능 저하 가능성따라서 Meta DB에 접근해야만 하는 스케쥴러를 제외하고는 API Serve..