쪼랩 성장기/깡깡이 노트5 ssh 연결하기 (Putty / MobaXterm 연결) AWS/GCP/AZURE이던간에 VM SSH을 위해서는 키페어를 다운받는다 모든 CSP에서 SSH 연결을 위한 키페어 생성 방법이 같다. 어떤 CSP이던지 일단 다운받으면 아래와 같은 형식으로 나타난다. 다운받을 것을 확인한 후 PuttYgen을 연다 열고 난 후 Load를 누른다 하단 설정을 아래와 같이 변경해주고 원하는 키페어를 찾아서 눌러준다 (열기) 확인 키생성이 완료되었고 저장한다 이름 정하고 저장 저장한 곳으로 가서 파일을 확인하면 아래와 같은 모습으로 저장되어 있다. Putty로 연결 시 ip 주소 넣어주고 SSH > AUTH으로 가서 Browse를 누르고 키를 넣어준다 그리고 open MobaXterm 연결 Session으로 들어간다 SSH을 누르고 Advanced SSH settings누.. 2023. 4. 26. Airflow 정리 Airflow 데이터 엔지니어링을 효율적으로 수행할 수 있도록 도와주는 오픈소스 플랫폼 프로그래밍 방식으로 워크플로우를 작성, 예약 및 모니터링 작업을 정확한 시간에, 정확한 방법으로 정확한 순서대로 실행하게 해준다. [ ex. 매일 밤 12시에 트리거 해야 하는 데이터 파이프라인이 존재 워크로드 중에 하나라도 문제가 생긴다면?? 관리해야 하는 파이프라인이 수백 개가 있다면?? => Airflow로 관리 가능! ] 1. Airflow 동작방법 User interface / Web Server : airflow는 설치 만으로 web server를 구성 할 수 있음 DAG Directory : 작업 스케줄을 만들어주는 스케쥴링 단위를 작성한 DAG를 보관하는 장소 python 코드로 작성한 DAG들을 여기에.. 2023. 4. 3. Dataproc Google cloud Dataproc -> 구글 클라우드 플랫폼에서 제공하는 매니지드 클러스터 서비스로 사용자가 쉽게 hadoop 혹은 spark 클러스터를 구성할 수 있는 서비스 규모에 상관없이 클러스터 구성을 빠른 속도로 구성할 수 있다. 이를 활용해서 사용자는 데이터 처리 또는 분석을 위해 작업에서 빠른 연산이 가능 BigQuery, Cloud Storage, Cloud Bigtable, Stackdriver Logging, Monitoring, 등과의 함께 통합된 서비스로 제공되기 때문에 더욱 유연한 사용이 가능 저렴한 비용 — Dataproc은 사용 중인 다른 Cloud Platform 리소스 외에 시간당 클러스터의 가상 CPU당 1센트의 비용으로 가격이 책정됩니다. 이 저렴한 가격 외에도 D.. 2023. 3. 30. HAR HAR(파일 형식) 웹 브라우저의 상호작용을 기록하기 위한 json형식의 아카이브 파일 형식. 공통 확장자는 .har 다음과 같은 타이밍 분석이 포함될 것으로 예상된다. DNS 정보를 가져오는데 걸리는 시간 각 개체를 요청하는데 걸리는 시간 서버에 연결하는데 걸리는 시간 서버에서 각 개체의 브라우저로 자산을 전송하는데 걸리는 시간 Chrome에서 HAR 파일을 생성하는 방법 [출처] 1. Chrome을 열어 시작합니다. 구글 크롬이 없으신 분은 추가 프로그램 설치가 자유로운 분들은 구글 크롬 을 다운받아 설치하시기 바랍니다. 2. Chrome에서 문제가 발생한 Box 내의 페이지로 이동합니다. 3. 브라우저 창의 오른쪽 상단에서 Chrome 메뉴(⋮)를 선택한 다음 도구 > 개발자 도구를 선택합니다 . .. 2023. 2. 23. 아카이브 파일 소스 볼륨과 미디어 정보, 파일 디렉터리 구조, 오류 감지, 복구 정보, 파일 설명을 포함할 수 있는 메타데이터가 포함된 하나 이상의 파일로 이루어진 파일을 말한다. 더 쉬운 휴대석과 저장을 위해 여러 데이터 파일을 단일 파일로 수집하거나 단순히 파일을 압축하여 저장공간을 덜 사용하는데 사용됩니다. 아카이브 파일은 특정 타일의 내용 내에 파일 시스템 데이터와 메타데이터를 저장하므로 시스템에 저장하거나 해당 파일 시스켐을 지원하지 않는 채널 파일을 통해 보낼 수 있다는 점이 유용하다. 2023. 2. 23. 이전 1 다음 반응형
