GCP 4

Kubeflow를 이용한 Vertex Pipeline 만들기 (Intro)

TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다.  일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j..

Machine Learning 2024.04.29

Cloud(GCP)를 이용한 ML-Pipeline 만들기 - 1. Vertex AI AutoML

이번에 클라우드를 이용한 ML endpoint를 만들어보기로 하였습니다. 참고한 자료는 이거 ~ https://www.youtube.com/watch?v=fw6NMQrYc6w (how to deploy machine learning model to google cloud) github : https://github.com/mrdbourke/cs329s-ml-deployment-tutorial StreamLit을 이용하였고, GCP의 AI Platform을 사용하였습니다. 프로젝트의 목적은, GCP를 이용해서 Food Classification AI 모델을 만드는 것이었습니다. 처음에 이 프로젝트를 재현해보려고 했었는데, 몇 가지 문제점이 있었습니다. 일단 GCP의 AI Platform 자체를 GCP에서 ..

Machine Learning 2023.05.03

GCP Data Engineer 대비 정리 - 용어정리

각각의 서비스들에 대해서 알아보겠습니다. 각각의 서비스들에 대해서 간단히 정리해 보고, 특징 들에 대해서도 간단하게 요약해 보도록 하겠습니다. 비교적 Coursera data engineer 코스에서 많이 다루고, sample exam에서도 많이 다뤘던 내용들을 바탕으로 정리하였습니다. Cloud Datastore에 대한 그래프 OLTP(online transaction processiong database) - normalization 필요 (대부분의 경우) OLAP(online analyticial processing database) - used for data warehouse and data mart applications DDL(Data definition language statements)..

Data Engineering 2022.04.20

GCP Data Engineer 자격증 준비!

시작은 미디엄 아티클이었습니다. 머신러닝 부트캠프를 참여한 김현일님의 아티클을 보고, https://medium.com/@hkkim1984/%EA%B5%AC%EA%B8%80-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%B6%80%ED%8A%B8%EC%BA%A0%ED%94%84-%ED%9B%84%EA%B8%B0-f25241f2c7fa 뭐, 텐서플로우 자격증이 일주일이면 딴다고? 이러면서 텐서플로우 자격증을 땄던 게 시발점이었습니다. 막상 따고 보니깐, 머신러닝 부트캠프의 다른 자격증들이 눈에 들어왔습니다. GCP Data Engineer 자격증과 GCP ML Engineer자격증. 욕심난다.. 결국 따기로 마음먹고 Coursera등록을 하였습니다. Data Engineer Co..

Data Engineering 2022.04.07