전체 글 (42) 썸네일형 리스트형 [TIL] 2025-04-01: Lambda 레이어 설정 Lambda AWS Gateway 연동 테스트 - 람다로 간단한 파라미터 받아서 hello world 출력하는 함수를 만듦 - 게이트웨이에서 람다와 연동하여 deploy 해봄 - http 요청으로 ?param 을 설정하여 ec2에서 호출해봄 - 배운점: 추후 ec2에서 람다에 크롤러 요청을 하는 방법을 습득 Lambda 간단한 사용법을 확인 - 배포, 테스트, 메모리 조정, 레이어 사용법 - Lambda 개념 학습 - Lambda만으로는 그냥 코드 함수 저장소이고, 이를 트리거할 다른 AWS 제품도 필요하고 저장을 위한 다른 제품도 필요. Lambda 레이어 설정 (진행중) - Selenium과 Chromedriver를 이식하려는 중인데 레이어의 사용법을 알아가는 중 - 파일 구조를 확인할 .. [에러해결] ec2에서 docker-compose로 mysql 기동시 기존 유져 기존재 해결 증상에러 메시지:pgsql복사ERROR 1396 (HY000) at line 1: Operation CREATE USER failed for 'cheston'@'%' 컨테이너 로그:MySQL 컨테이너 로그에 사용자 생성 에러가 나타남.수동으로 MySQL 접속 후:수동으로 접속해서 drop user 'cheston'@'%'; 명령어를 실행하면 정상적으로 삭제됨.원인Persistent 볼륨에 남은 이전 데이터:MySQL 데이터를 저장하는 Docker 볼륨에 이미 'cheston'@'%' 사용자가 생성되어 있었기 때문에, 컨테이너가 재시작될 때 초기화 스크립트에서 다시 사용자를 생성하려고 하면 충돌이 발생함.MySQL 기동 타이밍 문제:스크립트가 MySQL 데몬을 시작한 직후에 바로 사용자 관련 명령어를 실행.. Analytics 관련 내용 정리 (Data warehouse/Search/Streaming) 범위1. Data warehouseMPP (Massively Parallel Processing) ArchitectureStar SchemaETC2. Search Service (Elasticsearch / Opensearch)ElasticsearchETC3. Streaming ServiceKafkaETC 1. Data warehouse1-1. MPP (Massively Parallel Processing) Architecture 개념:MPP는 데이터를 여러 노드에 분산하여 병렬로 처리하는 데이터베이스 아키텍처.각 노드는 독립적인 프로세서, 메모리, 디스크를 가지며, 네트워크를 통해 서로 통신.데이터 웨어하우스에서 대규모 데이터 처리에 적합.특징:확장성(Scalability): 노드를 추가하여 성능을 .. 이전 1 2 3 4 ··· 14 다음
