걸어서개발한바퀴

TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다.  일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j..

Machine Learning 관련해서 Cloud에 pipeline을 올리는 일을 하려고 하는데, TFX를 사용해서 하고싶다는 욕구가 강하게 들었습니다. 그 이유는 W&B Seminar를 갔었는데, TFX를 사용하는 게 좋다고 말을 많이 들었기 때문이죠. Etri의 박찬성 연구자분이 하시는 세미나를 듣고, 잘 모르지만 써보고 싶다는 욕구가 강하게 들어서, 한번 사용해 보았습니다. 하지만.. 현실은.. 좋지 않았습니다. 그럼 TFX가 무엇인가? 에 대해서 간단하게 말씀드리자면, TFX 는 프로덕션 ML 파이프라인을 배포하기 위한 End to End platform입니다. 한 마디로, 코드 component 들을 모아놓은 라이브러리들의 합 (그래서 플랫폼) 이라고 할 수 있습니다. 결국 로컬에서 사용할 수도..

Metric learning은 Machine learning 의 한 분야로, object 간의 거리 함수를 학습하는데 초점을 맞춘다고 합니다. 이 거리 함수는 metric 공간에서의 similarity 또는 dissimilarity 를 결정하는데 사용된다고 합니다. k-nn(nearest neighbor 나, clustering 등의 방법에도 이용이 된다고 합니다. Deep Metric learning이란, 앞에서 설명한 Metric Learning을 Deep learning 에 적용시킨 것이라고 볼수 있을 것입니다. 각각의 데이터들의 거리를 임베딩 공간 측정해서, 유사한 객체는 서로 가깝게, 그렇지 않은 객체는 멀게 배치 합니다. 이미지 인식, 얼굴 검증, 추천 시스템 등의 작업에 유용하다고 합니다. ..

이미지 분류 모델을 test 하는데 있어서, test script를 짤 일이 있었습니다. confusion matrix를 만드는데, actual value와 prediction value을 다르게 만들고 싶어서 찾아봤습니다. 위의 경우와 같이 predicted value와 actual value가 같은 경우도 당연히 있고, 결국 맞출 수 있을것으로도 생각되지만, 어떤 경우에는 actual value 와 predicted value가 다른 경우도 있을 것입니다. 이에 대해서 한번 보았습니다. 일단 같을 때의 코드를 봅시다. import numpy as np import tensorflow as tf import pandas as pd def create_confusion_matrix(y_true, y_pr..

import numpy as np # linear regression x = np.random.rand(1000) y = x * 2 + np.random.randn() print(x, y) # parameter w = 0.0 b = 0.0 # hyperparameter lr = 0.01 epochs = 100000 def linear_regression(w1:float, b1:float, x1:float) -> float: # TODO return w1 * x1 + b1 def loss_function(x2:np.array, y2:np.array, w2:float, b2:float) -> float: # TODO yhat = w2 * x2 + b2 return np.divide(np.sum((y2 - y..

이번에 클라우드를 이용한 ML endpoint를 만들어보기로 하였습니다. 참고한 자료는 이거 ~ https://www.youtube.com/watch?v=fw6NMQrYc6w (how to deploy machine learning model to google cloud) github : https://github.com/mrdbourke/cs329s-ml-deployment-tutorial StreamLit을 이용하였고, GCP의 AI Platform을 사용하였습니다. 프로젝트의 목적은, GCP를 이용해서 Food Classification AI 모델을 만드는 것이었습니다. 처음에 이 프로젝트를 재현해보려고 했었는데, 몇 가지 문제점이 있었습니다. 일단 GCP의 AI Platform 자체를 GCP에서 ..

안녕하세요 오늘은 label studio ml backend 구축에 대해서 해 보기 전, label-studio에 대해서 알아보는 포스팅을 하도록 하겠습니다. https://labelstud.io/ 상당히 복잡한 프로세스를 거쳤기에, 쉽지않은 프로세스가 될 것으로 보입니다. 일단 선행조건으로, label-studio 를 설치하고 실행하는 것이 될 것입니다. label studio 란, labeling을 할 수 있게 해주는 labeling 툴 중 하나입니다. 기존의 labelImg라는 툴을 사용했었는데, labelImg를 다운받으려고 검색하던 와중 label studio로 병합되었다는 소식을 들었습니다. label studio는 오픈소스 타입의 labeling tool 입니다. 하지만 label studi..

가장 기본적인 모델인 Decision Tree(결정 트리) 입니다. 전체 Input Space를 여러 개의 작은 직사각형으로 계속 자르는 알고리즘으로 모델을 만드는 것입니다. Classification and regression tree (CART)라고도 한다고 합니다. 그림은 타이타닉 데이터에서 가져왔다고 합니다. 성별, 나이와 가족 숫자라고 하네요. Decision Tree의 경우 굉장히 직관적이고 이해하기 쉽다는 장점이 있지만, 어떤 특성(Feature)을 먼저 사용할 지에 대해서 dependency가 굉장히 걸린다는 부담이 있습니다. 다른 말로는, 갈릴 때 cost가 가장 적은 split을 먼저 고릅니다. greedy algorithm이라고도 표현하네요. Regression 과 Classifica..

DVC란, Data Version Control로, Git과 유사하지만 데이터를 관리하는 툴을 말합니다. 관련 웹사이트 : https://dvc.org/doc/start AWS S3, GCP Cloud Storage 등 데이터를 파일 스토리지에 올린 후 다운 받을 수도 있고, 올릴 수 도 있습니다. 커맨드는 Git 과 비슷합니다. 기본적인 커맨드에 대해서 좀 알아보도록 하겠습니다. 일단 기본적으로 Git Repository 내에서 dvc 커맨드를 입력합니다. $ dvc init 그 이후 dvc를 git에 저장합니다. $ git status Changes to be committed: new file: .dvc/.gitignore new file: .dvc/config ... $ git commit -m ..

Tensorflow자격증을 획득했습니다. 아직 공식적으로 증이 나오지 않아서 여기 Share는 못하겠지만, 그래도 시험이 끝나자마자 바로 이메일이 오더군요. 다음은 자격증, 및 링크 입니다. https://www.credential.net/01adb74d-93bd-4328-82f8-6a8ff37ee3c9 다섯 문제가 나왔고, (알고는 있었지만), 주어진 시간은 다섯시간이었는데, 거의 네시간 반 정도 투자를 한 것 같습니다. 다행이었던 것은, 그렇게 급박하다고 느껴지지는 않았던 것 같습니다. 막히는 부분이 있어도, 어떻게든 되겠지란 생각으로 계속 하니깐, 됬던 것 같습니다. 확실히 Coursera 의 Tensorflow certificate course가 엄청 도움이 된것 같습니다. 텐서플로우 자격증 시험..