걸어서개발한바퀴

TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다.  일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j..

Machine Learning 관련해서 Cloud에 pipeline을 올리는 일을 하려고 하는데, TFX를 사용해서 하고싶다는 욕구가 강하게 들었습니다. 그 이유는 W&B Seminar를 갔었는데, TFX를 사용하는 게 좋다고 말을 많이 들었기 때문이죠. Etri의 박찬성 연구자분이 하시는 세미나를 듣고, 잘 모르지만 써보고 싶다는 욕구가 강하게 들어서, 한번 사용해 보았습니다. 하지만.. 현실은.. 좋지 않았습니다. 그럼 TFX가 무엇인가? 에 대해서 간단하게 말씀드리자면, TFX 는 프로덕션 ML 파이프라인을 배포하기 위한 End to End platform입니다. 한 마디로, 코드 component 들을 모아놓은 라이브러리들의 합 (그래서 플랫폼) 이라고 할 수 있습니다. 결국 로컬에서 사용할 수도..