기초 튼튼 (26) 썸네일형 리스트형 [TIL] 2025-04-01: Lambda 레이어 설정 Lambda AWS Gateway 연동 테스트 - 람다로 간단한 파라미터 받아서 hello world 출력하는 함수를 만듦 - 게이트웨이에서 람다와 연동하여 deploy 해봄 - http 요청으로 ?param 을 설정하여 ec2에서 호출해봄 - 배운점: 추후 ec2에서 람다에 크롤러 요청을 하는 방법을 습득 Lambda 간단한 사용법을 확인 - 배포, 테스트, 메모리 조정, 레이어 사용법 - Lambda 개념 학습 - Lambda만으로는 그냥 코드 함수 저장소이고, 이를 트리거할 다른 AWS 제품도 필요하고 저장을 위한 다른 제품도 필요. Lambda 레이어 설정 (진행중) - Selenium과 Chromedriver를 이식하려는 중인데 레이어의 사용법을 알아가는 중 - 파일 구조를 확인할 .. [에러해결] ec2에서 docker-compose로 mysql 기동시 기존 유져 기존재 해결 증상에러 메시지:pgsql복사ERROR 1396 (HY000) at line 1: Operation CREATE USER failed for 'cheston'@'%' 컨테이너 로그:MySQL 컨테이너 로그에 사용자 생성 에러가 나타남.수동으로 MySQL 접속 후:수동으로 접속해서 drop user 'cheston'@'%'; 명령어를 실행하면 정상적으로 삭제됨.원인Persistent 볼륨에 남은 이전 데이터:MySQL 데이터를 저장하는 Docker 볼륨에 이미 'cheston'@'%' 사용자가 생성되어 있었기 때문에, 컨테이너가 재시작될 때 초기화 스크립트에서 다시 사용자를 생성하려고 하면 충돌이 발생함.MySQL 기동 타이밍 문제:스크립트가 MySQL 데몬을 시작한 직후에 바로 사용자 관련 명령어를 실행.. [Selenium] 크롬 드라이버 버전 문제 해결 현상 셀레니움으로 크롬 접근을 하기 위해 드라이버를 실행하는 도중 아래와 같은 에러가 발생 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 114 Current browser version is 118.0.5993.117 with binary path /Applications/Google Chrome.app/Contents/MacOS/Google Chrome Stacktrace: 원인 로컬에 설치되어있는 크롬 버전과 크롬드라이버 버전 불일치로 발생 로컬 크롬이 자동 업데이트가 되어버리기 때문에 에전에.. [elastic beanstalk 에러 해결] The instance profile aws-elasticbeanstalk-ec2-role associated with the environment does not exist. 에러: 9월 9, 2023 15:16:09 (UTC+9)ERRORFailed to launch environment. 9월 9, 2023 15:16:09 (UTC+9)ERRORThe instance profile aws-elasticbeanstalk-ec2-role associated with the environment does not exist. elastic beanstalk 콘솔을 통해서 테스트용 환경을 구성하는데 지속해서 위의 에러가 발생했다. The instance profile이 존재하지 않는다는 얘기였는데 구글링을 해도 자세하 설명해준 내용이 없어서 삽질하는 시간이 좀 길었다. 나중을 위해 에러 해결 과정을 정리. 해결: IAM 콘솔에서 위의 두 개 역할을 각각 ec2, elastic be.. [시행착오노트] AWS RDS 로컬 피시에서 접근하기 사이드 프로젝트에 사용할 DB를 클라우드에서 생성하기 위해서 AWS RDS를 사용하기로 했다. 클라우드 중 비용 부담이 제일 큰 부분이 이 DB 녀석이라서, 어떻게 하지 싶었는데 이누가 RDB도 서버리스가 있단걸 알려줘서 바로 사용해봤다. 오로라DB의 서버리스 버전이 있다는 것인데, 음.. 버전1에서는 완전 서버리스처럼 쓸 수 있는 것 같은데 2023년 3월 현재 기준으로는 그렇진 않았다. 최소 0.5 ACU를 설정해줘야 되는데 이게 한달에 약 4~50달러선으로 돈이 나간다. 1ACU당 약 2GB 메모리를 가진 컴퓨팅 자원을 가질 수 있다고 보면 된다. 일단은 RDB는 써야하기 때문에 7일 주기로 인간 배치가 되어 일시중지를 해주기로 했다. 반 수동 서버리스... 처음에 생성하고 신나서 로컬에서 엔드포인.. [네트워크] HTTP 정리 - 헤더/캐시 인프런에서 김영한님의 "모든 개발자를 위한 HTTP 웹 기본 지식" 강의를 수강하고 정리한 문서입니다. (더 자세한 내용은 강의를 참고) HTTP Header(헤더) - 기본 개요 헤더에는 HTTP 전송에 필요한 모든 부가정보가 들어있다. 메시지 바디의 내용, 바디의 크기, 서버 정보, 캐시정보... 메시지 바디의 데이터를 해석할 수 있는 정보를 제공해준다. (데이터유형, 데이터 길이 등) 표현방식: header-field = field-name ":" OWS field-value OWS Ex; Content-Type: text/html;charset=UTF-8 표현 (Representation) 기존 RFC2616 에서 사용되던 엔티티(Entity)라는 용어가 폐기되고.. .. 표현(Representa.. [네트워크]HTTP 정리 - 기본 개념 인프런에서 김영한님의 "모든 개발자를 위한 HTTP 웹 기본 지식" 강의를 수강하고 정리한 문서입니다. (더 자세한 내용은 강의를 참고) HTTP 기본 (1/2) HTTP란? Hyper Text Transmission Protocol의 약자 클라이언트-서버 아키텍쳐에서 통신을 위해 사용되는 프로토콜의 하나 현재 구현되어 있는 웹, 앱 등 대다수의 아키텍쳐는 이 HTTP 기반으로 구성되어있음 따라서, IT서비스 뿐만 아니라 데이터를 주고 받는 통신을 알기 위해서는 HTTP에 대한 이해가 필수 HTTP를 이해하기 위한, 인터넷 네트워크 기본 Internet Network 네트워크 상의 통신 규약 중 하나인 HTTP(Hyper Text Transmission Protocol)은 약속 IP (인터넷 프로토콜) .. [시행착오노트] MySQL rank 함수 구현 활용? 그룹별 rank를 row별로 사용할 때 활용 랭크 순위 기준을 order by를 통해 적용, 그룹 기준을 partition by를 통해 적용 다수의 컬럼에 적용 가능 MySQL에서는 기본 제공되지 않은 함수로 커스터마이징하여 활용해야함 ORACLE, Redshift 등 다른 RDB 내의 함수 select rank () over (partition by GROUP_COL order by ORDER_COL) as rank_colname My SQL 예시 select * from ( select @ROW_NUM := IF(@PREV_VALUE = A.GROUP_COLNAME, @ROW_NUM + 1, 1) AS ROW_NUMBER, @PREV_VALUE := A.GROUP_COLNAME, A.* fro.. [시행착오노트] pandas 고유값 카운트: value_counts() pandas의 dataframe 사용시, SQL의 count(distinct colName) 문법을 사용하고 싶을 때 사용하는 함수 Syntax: Series.value_counts(normalize=False, sort=True, ascending=False, bins=None, dropna=True) 예시: 링크: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.value_counts.html pandas.Series.value_counts — pandas 1.2.4 documentation Rather than count values, group them into half-open bins, a convenience .. [시행착오노트] RDB 접속용 Sequel pro 빌드버전 이슈: Mac에서 편하게 사용할 수 있는 DB접속 IDE로 Sequel pro를 유용하게 사용하는데, 종종 DB접속시에 알 수 없는 이슈로 크래시가 날 때가 있다. 해결: 그런 경우 빌드버전으로 접근하면 이유는 알 수 없지만.. 이슈가 해결되는 경우가 종종 있어 다운로드 링크를 남겨두기. 링크: https://sequelpro.com/test-builds Test Builds sequelpro.com 이전 1 2 3 다음
