개요 SSH Key를 이용하여 로컬에서 원격으로 GCP 프로젝트에 접속을 한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP Python Library Installation on Compute Engine in GCP SSH Key 생성하기 puTTYgen에서 public / private key 값을 생성한다. Generate 버튼을 클릭한다. Private Key를 OpenSSH 방식으로 Export 한다. Key Comment에 구글 계정을 입력한다. password도 입력한다. Public Key는 모두 복사한다. GCP 메타데이터 등록 Compute Engine > 메타데이터 접속하여 SSH 키에 붙여 넣는다.
개요 기 설치된 Compute Engine에 라이브러리를 설치하고 간단하게 Streamlit 배포를 진행한다. 만약 GCP가 처음이신 분들은 이전 글을 순차적으로 읽어본다. Spark Installation with GCP (Sept. 2023) Compute Engine with Github in GCP requirements.txt Github Repo에서 Add file > Create new file을 클릭 후, 아래 주요 라이브러리를 입력한다. 파일명 : requirements.txt 라이브러리명은 다음과 같다. 입력 후, Commit Changes 버튼을 클릭한다. pyspark==3.1.1 pandas streamlit matplotlib 현재 파일 목록은 아래와 같다. 이제 GCP 터미널에서 requirements.
개요 Google Cloud Project에서 Github 계정을 연동하는 과정을 보여준다. 처음 GCP를 사용하는 독자분들은 이전 글을 참조해서 설정을 먼저 진행한다. 참조 : https://dschloe.github.io/gcp/2023/09/spark_installation_gcp/ 터미널 열기 기존 인스턴스는 중지를 시켰기 때문에 이를 다시 시작/재개 버튼을 눌러 활성화 한다. 시작 버튼 클릭과 함께 오늘도 비용을 지불해본다. 브라우저 창에서 열기를 진행한다. Git 설치 터미널에 Git을 설치하는 방법은 다음 명령어를 순차적으로 입력한다. (base) ~$ sudo apt-get update -y (base) ~$ sudo apt-get upgrade -y (base) ~$ sudo apt install git (base) ~$ git --version Git Repo 생성 Github에서 Repo를 만든다.
개요 Spark를 구글 클라우드에 설치하도록 한다. 프로젝트 시작부터 진행한다. 프로젝트 시작 본 화면에서 새로운 프로젝트를 시작한다. 프로젝트명 : mulcampFP VM 시작하기 VM 만들기를 클릭한다. 활성 결제 계정이 없으면 결제계정을 등록한다. 결제계정이 등록되면 다음과 같이 화면이 나오면 VM 설정이 가능하다. 결제계정까지 완료가 되었으면 다음과 같이 Compute Engine API를 사용 버튼을 클릭해준다. 이름은 mulcamp-gcp 지역은 서울로 했다. 비용에 따라 성능을 선택할 수 있다. 호스트 유지보수 시, VM 인스턴스는 마이그레이션을 권장한다. 부팅 디스크는 Ubuntu로 변경했다.
조건문 if 조건문 코드는 아래와 같음 여러개의 조건문은 && 연산자 또는 || 연산자를 사용한다. function myFunction_01() { let number=9; if(number > 10) { console.log("큰 수입니다!") } else { console.log("작은 수입니다.") } } function myFunction_02() { var currentTemperature = 25; var isWeekend = true; var thresholdTemperature = 35; if (currentTemperature > thresholdTemperature && !isWeekend) { console.log("집에 계세요!") } else if (currentTemperature > thresholdTemperature || isWeekend) { console.log("외출하세요!") } else { console.log("판단을 보류합니다!
개요 Google Apps Script의 기본문법을 배우도록 한다. 변수와 상수, 배열, 객체등을 테스트 한다. 자바스크립트 기초 기초 문법을 배우도록 한다. 아래와 같이 코드 생성 후 실행을 한다. function myFunction() { Logger.log("Hello World"); } 여러 함수를 만들고 선택적으로 실행이 가능하다. 주석 처리는 크게 // /* */ 으로 할 수 있다. function myFunction01_1() { Logger.log("Hello World"); } function myFunction01_2() { console.log("Hello GAS!") // 주석 입력 /* 여러 행에 걸쳐 주석을 입력한다. */ } 스크립트 편집기에서는 [Ctrl] + [/] 를 이용하면 주석처리가 가능하다.
사전학습 이 글을 읽기전에 한번 Streamlit 라이브러리를 활용한 배포 - BigQuery 사용 을 읽고 오기를 바란다. 실습 순서 서울시 부동산 실거래가를 API 크롤링으로 가져온다. JSON 형태의 데이터를 pandas 데이터프레임으로 변환한다. 데이터프레임을 BigQuery에 전체 데이터를 저장한다. 저장된 데이터프레임을 BigQuery에서 일부 컬럼만 불러온다. 실습 1 - API 크롤링에서 빅쿼리로 데이터 저장 .streamlit/secrets.toml 을 열고 아래와 같이 설정한다. seoul_api_key는 서울 열린데이터 광장을 의미한다. gcp_service_account 아래 내용은 api key를 json 파일로 열면 확인할 수 있다.
개요 GCP에서 개발환경을 설정하도록 한다. Local PC에서 GCP로 접속을 하도록 한다. 사전준비 WSL2 Ubuntu 설치 과정은 여기에서 다루지 않는다. 개발환경 설치 Python3 설치한다. (본인에게 맞는 언어를 선택한다) sudo apt update sudo apt install -y python3 python3-pip python3 최신 버전(417.0.1) gcloud CLI 설치 참고자료 : https://cloud.google.com/sdk/docs/install-sdk?hl=ko gcloud CLI를 설치하기 전 운영체제가 다음 요구사항을 충족하는지 확인합니다. $ sudo apt-get install apt-transport-https ca-certificates gnupg 패키지 소스로 gcloud CLI 배포 URI를 추가합니다. 배포판에서 서명 옵션을 지원하는 경우 다음 명령어를 실행합니다.
개요 BigQuery ML을 소개한다. BigQuery ML을 사용하면, 머신러닝 모델을 만들고 또한 실행할 수 있다. 목표 BigQuery ML에서 CREATE MODEL 문을 사용하여 선형회귀 모델 만들기 ML.EVALUATE 함수를 사용하여 ML 모델 평가 ML.PREDICT 함수를 사용하여 ML 모델 예측 주의 사항 BigQuery 비용 관련된 문서는 다음과 같다. BigQuery 가격 책정: https://cloud.google.com/bigquery/pricing BigQuery 가격 책정**:** https://cloud.google.com/bigquery-ml/pricing 1단계: 데이터 세트 만들기 데이터 세트 ID에 bqml_practice 입력 데이터 위치로 미국 US 선택 나머지는 모두 Default로 설정한다. 2단계: 모델 만들기 데이터 소개 먼저 데이터를 소개한다.
개요 GCP 빅쿼리를 연동하는 예제를 구현한다. 먼저 빅쿼리를 통해 데이터를 적재하는 예제를 확인한다. 구글 코랩에서 빅쿼리 데이터를 불러온다. 데이터 스튜디오에서 빅쿼리 데이터를 불러온다. 소개 빅쿼리를 소개하는 영상은 유투브에서 검색하면 매우 쉽게 확인할 수 있다. 영상 참조: 데이터 웨어하우스 끝판왕 BigQuery 어디까지 알고 계신가요 Google Cloud 회원가입 준비물 Google 계정 신용카드나 체크카드 (개인적으로 돈이 없는 체크카드 사용 권장) 구글 클라우드 사이트 접속 싸이트: https://cloud.google.com/ 무료 서버 받으려면 아래 화면에서 TRY IT FREE 를 클릭한다.