전체보기122 AWS ALB 대상 그룹 Unhealthy 오류 「 timeout settings 」 에러의 경우 서버에 아파치를 설치했는지 확인하기80포트도 열려 있는지 확인해줬다 「Health checks failed with these codes: [403]」 에러날 경우아래 명령어로 index.html을 넣어주면 해결된다sudo cp /usr/share/httpd/noindex/index.html /var/www/html/index.html 성공 2024. 5. 27. 아마존 리눅스 mysql 설치 오류 아무리 계속해도 이런 오류만 나오고 아마존 리눅스에 mysql 설치가 안된 상황에서 해결한 방법The GPG keys listed for the "MySQL 8.0 Community Server" repository are already installed but they are not correct for this package. Check that the correct key URLs are configured for this repository 아래 명령어로 다시 깔아주고sudo yum install mysql-community-server 다시 확인해봤더니 성공이다sudo systemctl start mysqld 이분께 무한 감사를....https://stackoverflow.com/qu.. 2024. 5. 27. aws codedeploy-agent 수동 설치 업그레이드 먼저 해준다sudo yum update 설치하기sudo yum install rubysudo yum install wget 홈 디렉토리로 이동한다cd /home/ec2-user 이후 CodeDeploy 에이전트 설치 프로그램 다운로드한다wget https://bucket-name.s3.region-identifier.amazonaws.com/latest/install install 파일에 대한 실행 권한을 설정chmod +x ./install 최신 버전의 에이전트를 설치한다sudo ./install auto 에이전트 시작하는 명령어systemctl start codedeploy-agent 에이전트가 잘 설치되었는지 확인systemctl status codedeploy-.. 2024. 5. 25. [EC2] ubuntu에 mysql, aws cli 설치 ec2 ubuntu 환경을 만들고 해당 환경을 IDC라고 가정서버에 MySQL을 설치하고 덤프 파일 생성 후 파일을 AWS S3으로 보낸다음 S3에 저장된 자료를 Aurora에 넣는 작업을 진행할 예정 서버에 AWS CLI 설치해서 옮긴다 서버 한대를 만들고 update랑 upgrade 해준다sudo apt-get updatesudo apt-get upgrade 해당 명령어를 이용해서 mysql을 설치한다sudo apt-get install mysql-server 설치가 완료되면 mysql로 접속할 수 있다sudo mysql -u root -p mysql로 들어가서 demo라는 이름의 데이터베이스를 만들었다create database demo; 명령어를 통해.. 2024. 5. 24. 가비아 도메인을 AWS ACM에 등록하기 가비아에서 도메인을 구매해서 SSL/TLS 인증서를 적용하려고 한다시작하기 전 가비아에서 도메인을 구매한 상태로 시작한다 인증서를 만들기 위해 ACM에 들어가 인증서 요청을 한다 퍼블릭 인증서를 요청 타 사이트에서 구매한 도메인을 넣어준다도메인 앞에 *을 사용하면 동일한 도메인으로 여러 사이트를 보호하기 위한 와일드카드 인증서를 요청할 수 있다 (*.example.com은 www.example.com, site.example.com 및 images.example.com을 보호) 생성이 완료되면 Route 53에서 레코드 생성하기를 누른다(아직 검증 중) 타사에서 도메인을 구매해서 그런지 선택이 불가능한 상태로 나온다 이를 해결하기 위해 Route 53으로 가서 호스팅 영역.. 2024. 5. 22. EC2 ubuntu Redis 연결 redis 생성하고 EC2로 접속하려고 했는데 아래와 같이 접속 불가인 상황 EC2로 접속하기 전Ubuntu 서버 업데이트&업그레이드 해주고 redis서버 설치해준다sudo apt-get updatesudo apt-get upgradesudo apt-get install redis-server redis에 들어가서 엔트포인트 확인한다 EC2에 들어가서 redis 연결한다redis-cli -h redis 엔드포인트 복붙 -p 6379 그래도 연결이 안돼서 확인해봤더니 보안그룹에 포트 6379를 안열어줌...ㅎ당연히 연결이 안되지 멍충 포트를 열어주니 연결 완료 확인 2024. 5. 20. AWS ECS 생성하기 ECS 접속해서 클러스터 생성 Docker라는 이름으로 클러스터를 생성하고 EC2인스턴스로 선택하였다 인스턴스 개수를 최소 2대 최대 5대로 설정 네트워크를 설정해준다 생성됨을 확인했다 2개의 인스턴스가 동작되고 있음을 확인했다 EC2로 들어가보면 2개의 인스턴스가 동작중임을 알 수 있다 *번외* 처음에 야무지게 클러스터 생성했는데 인스턴스 아무것도 안나와서 너무 당황했었다 알고보니 내가 최소 인스턴스 수를 0으로 설정해두고 왜 없냐고 난리친것 진짜 멍청 그 자체 2023. 12. 20. GCP CMEK 만들어서 사용해보기 조직내에 GCP CMEK를 사용하고 있는 프로젝트들이 있는 지 확인 문의가 들어왔다 GCP 공식문서에서 혹시 키 목록을 확인할 수 있는 방법이 있는지 찾아봤는데 못찾음 찾아보니 Key managemet를 사용하면 CMEK를 사용할 수 있다는 것을 알게 되었는데 근데 해당 서비스가 Key managemet를 꼭 사용해야지 이용이 가능한지 모르겠어서 직접 만들어보기로 했다 스토리지를 새로 만들어서 무작정 Customer-managed encryption key를 만들어보려고 했으나 실패했다 확실히 키를 미리 생성해야지 CMEK를 사용할 수 있구나를 알게 됨 그래서 Key managenet를 활성화하여 키를 생성해봤다 키링을 만들고 키를 만듦 한국어로 바꾸면 요런 모양이다 키링이 생성된 것을 확인 test_C.. 2023. 12. 20. ssh 연결하기 (Putty / MobaXterm 연결) AWS/GCP/AZURE이던간에 VM SSH을 위해서는 키페어를 다운받는다 모든 CSP에서 SSH 연결을 위한 키페어 생성 방법이 같다. 어떤 CSP이던지 일단 다운받으면 아래와 같은 형식으로 나타난다. 다운받을 것을 확인한 후 PuttYgen을 연다 열고 난 후 Load를 누른다 하단 설정을 아래와 같이 변경해주고 원하는 키페어를 찾아서 눌러준다 (열기) 확인 키생성이 완료되었고 저장한다 이름 정하고 저장 저장한 곳으로 가서 파일을 확인하면 아래와 같은 모습으로 저장되어 있다. Putty로 연결 시 ip 주소 넣어주고 SSH > AUTH으로 가서 Browse를 누르고 키를 넣어준다 그리고 open MobaXterm 연결 Session으로 들어간다 SSH을 누르고 Advanced SSH settings누.. 2023. 4. 26. GCP Composer GCP composer Cloud Composer는 클라우드 및 온프레미스 데이터 센터 전체의 워크플로 파이프라인을 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스 오픈소스 프로젝트 기반으로 구축되어 python프로그래밍 언어로 동작한다. 아파치 airflow의 로컬 인스턴스 대신에 cloud composer를 사용하면 사용자가 설치 또는 관리 오버헤드 없이 airflow의 이점을 얻을 수 있다. 1. Cloud Composer Google Kubernetes Engine에 기반을 둔 독립 실행형 Airflow 배포 환경. Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동 2. Cloud Composer로 인프라 자동화 데이터 엔지.. 2023. 4. 3. Airflow 정리 Airflow 데이터 엔지니어링을 효율적으로 수행할 수 있도록 도와주는 오픈소스 플랫폼 프로그래밍 방식으로 워크플로우를 작성, 예약 및 모니터링 작업을 정확한 시간에, 정확한 방법으로 정확한 순서대로 실행하게 해준다. [ ex. 매일 밤 12시에 트리거 해야 하는 데이터 파이프라인이 존재 워크로드 중에 하나라도 문제가 생긴다면?? 관리해야 하는 파이프라인이 수백 개가 있다면?? => Airflow로 관리 가능! ] 1. Airflow 동작방법 User interface / Web Server : airflow는 설치 만으로 web server를 구성 할 수 있음 DAG Directory : 작업 스케줄을 만들어주는 스케쥴링 단위를 작성한 DAG를 보관하는 장소 python 코드로 작성한 DAG들을 여기에.. 2023. 4. 3. Dataproc Google cloud Dataproc -> 구글 클라우드 플랫폼에서 제공하는 매니지드 클러스터 서비스로 사용자가 쉽게 hadoop 혹은 spark 클러스터를 구성할 수 있는 서비스 규모에 상관없이 클러스터 구성을 빠른 속도로 구성할 수 있다. 이를 활용해서 사용자는 데이터 처리 또는 분석을 위해 작업에서 빠른 연산이 가능 BigQuery, Cloud Storage, Cloud Bigtable, Stackdriver Logging, Monitoring, 등과의 함께 통합된 서비스로 제공되기 때문에 더욱 유연한 사용이 가능 저렴한 비용 — Dataproc은 사용 중인 다른 Cloud Platform 리소스 외에 시간당 클러스터의 가상 CPU당 1센트의 비용으로 가격이 책정됩니다. 이 저렴한 가격 외에도 D.. 2023. 3. 30. 이전 1 2 3 4 ··· 11 다음 반응형
