전체 글 (40) 썸네일형 리스트형 Analytics 관련 내용 정리 (Data warehouse/Search/Streaming) 범위1. Data warehouseMPP (Massively Parallel Processing) ArchitectureStar SchemaETC2. Search Service (Elasticsearch / Opensearch)ElasticsearchETC3. Streaming ServiceKafkaETC 1. Data warehouse1-1. MPP (Massively Parallel Processing) Architecture 개념:MPP는 데이터를 여러 노드에 분산하여 병렬로 처리하는 데이터베이스 아키텍처.각 노드는 독립적인 프로세서, 메모리, 디스크를 가지며, 네트워크를 통해 서로 통신.데이터 웨어하우스에서 대규모 데이터 처리에 적합.특징:확장성(Scalability): 노드를 추가하여 성능을 .. 2023년도 회고 23년도를 커리어, 사이드 프로젝트, 인생으로 나누어서 회고해보았습니다. 커리어: 슬럼프 & 극복 ① 작년 목표 달성은 어땠지? 작년 목표는 드랍박스 엔지니어링 커리어 프레임워크 IC3였는데 그래도 이 목표에 많이 가까워진 23년이었다. 개발자로 전환하고 큰 프로젝트를 처음으로 회사에서 투입되어 진행해야 해서 업무에 많은 시간을 쏟았다. 작년 회고시에 목표로 잡았던 드랍박스 엔지니어링 커리어 프레임워크 IC3 설명 IC3 기준을 설명할 때 '독립적'으로 개발 업무 수행이 가능한지에 대한 기준이 많이 나오는데 작년 한 해에는 이에 가까워졌다고 생각한다. 구체적으로 경험들을 떠올려 보면, 클라우드 마이그레이션 프로젝트에서 담당했던 영역 개발 및 검증 후 운영 투입까지 독립적으로 업무를 진행하기도 했고, 블프.. AWS EC2에 Docker 환경 배포 작업기 - WAS(Django) / Web Server(Nginx) / Mysql DB 1. 작업 배경 사이드 프로젝트로 Django 백엔드 웹사이트를 개발까지는 했는데 이걸 어떻게 배포해야하나 하면서 이리저리 삽질하면서 AWS EC2에 올린 작업기다. 혼자 알아본 내용으로만 끝났으면, 그냥 django runserver로 WAS만 올리고 끝났을텐데 동쪽의 귀인 이누가 나타나 같이 작업하면서 Nginx 웹서버와 Mysql DB 까지 도커라이징해서 배포하는 과정을 진행할 수 있었다. 그 과정을 남겨보았다. 2. 작업 계획 - 서버 구동: AWS ec2로 Ubuntu 서버를 띄운다. - WAS 구동: 깃허브에 있는 django 소스를 클론해와서 django WAS를 도커 이미지로 빌드하고 해당 이미지 컨테이너를 띄운다. - WAS 구동은 gunicorn을 사용 - python3.10 버전 bu.. 이전 1 2 3 4 ··· 14 다음
