본문 바로가기

전체 글

 (42)
[글또] 아마존 레드시프트(AWS Redshift) 이해하기 회사에서 사용하고 있는 데이터 웨어하우스인 AWS Redshift를 아무런 고민없이 사용하다가 어떻게 돌아가는지 궁금해서 한번 알아보았습니다. 김용우 님의 글을 주로 참고했습니다. (링크) 레드시프트(AWS Redshift) - 레드시프트는 아마존 웹서비스에서 제공하는 대용량 병렬처리 관계형 데이터 웨어하우스 서비스 - 일반적인 트랜잭션을 위한 데이터베이스보다는 분석목적의 데이터 저장소에 가깝다 - 병렬처리 관계형 데이터베이스로 리더 - 팔로워 노드 기반의 연산을 수행 - 외부 서비스와의 통신은 오로지 리더 노드(Leader Node)에서만 이루어지게 됨 - 데이터의 업데이트는 S3를 경유하여 이루어짐 - Compute Node의 경우 이론상 여러개로 무한 증식이 가능 - 기존 사용하던 리더 - 팔로워 ..
[글또] 글또 6기를 시작하면서 Why 글또? 나는 왜 글또에 지원했나 2021년의 나는 데이터 엔지니어링 역량을 지향하고 있고 그 역할을 회사에서 성공적으로 수행하기 위해 부족한 부분을 채워나가는 중에 있다. 2020년까지의 나는 데이터 분석 포지션을 지향하며 ML이나 분석 프레임 등에 대해 알아가기 위해 시간을 쓰려고 했지만 방향을 틀었고 지금은 그 쪽 방향에 시간을 쓰는 것을 멈춘 상태이다. 지금 회사는 어린아이를 가진 부모님들을 타겟으로 하고 있는 스타트업이고, 여기서 데이터 엔지니어 포지션을 담당하고 있다. MSA 구조의 서비스를 운영하는 회사라서 데이터가 여기저기 흩어져 있는데 그것들을 모으는 데이터 레이크/마트를 구축하고 운영관리 하는 일이 주된 업무이다. 이 데이터를 가장 많이 찾는 사람들은 개발팀 외의 현직 분들이다. ..
[네트워크] HTTP 정리 - 헤더/캐시 인프런에서 김영한님의 "모든 개발자를 위한 HTTP 웹 기본 지식" 강의를 수강하고 정리한 문서입니다. (더 자세한 내용은 강의를 참고) HTTP Header(헤더) - 기본 개요 헤더에는 HTTP 전송에 필요한 모든 부가정보가 들어있다. 메시지 바디의 내용, 바디의 크기, 서버 정보, 캐시정보... 메시지 바디의 데이터를 해석할 수 있는 정보를 제공해준다. (데이터유형, 데이터 길이 등) 표현방식: header-field = field-name ":" OWS field-value OWS Ex; Content-Type: text/html;charset=UTF-8 표현 (Representation) 기존 RFC2616 에서 사용되던 엔티티(Entity)라는 용어가 폐기되고.. .. 표현(Representa..

티스토리툴바