걸어서개발한바퀴

플러터 앱 개발 & 출시하기라는 책을 사서 새로 flutter 앱을 만들려고 합니다. 책에 나온 이야기를 조금 요약하자면, 1. Android Studio or Visual Studio 설치 (이미 되어있음)2. Flutter sdk 설치하기 (3. xx) - android studio 에 플러그인도 설치flutter doctor 로 인증 가능emulator 또는 실제 Device로 테스트 가능 그리고.. firebase 설치하기.Firebase에 대해서 chatgpt 에 물어보니깐 이렇게 말해줍니다. Firebase: 앱 개발을 위한 올인원 플랫폼Firebase는 Google에서 제공하는 모바일 및 웹 애플리케이션 개발 플랫폼으로, 앱 개발, 테스트, 배포, 모니터링까지 모든 단계를 지원합니다.주요 기..

이전에 구축했을 때는 온갖 삽질을 다 해서 했는데, GPT 와 함께하니 좋은 설정들을 알려주면서 해서 정말 시간 절약이 많이 되었다.그래도 미리 알고 있는거랑 아닌거는 차이가 많이 나니, 정리를 해보도록 하면, 1. nvidia driver 470.223 이미 installed. 2. Cuda version -> nvidia-smi 에서 뜨는것은 아마도 추천 버전인 듯 했다.sudo apt install cuda-toolkit 을 하니.. (좀 다를수도 있다) 11.3이 뜨는데 그것도 괜찮을거같아서 install 했다.3. nvcc --version으로 cuda version 확인 4. pytorch 버전 확인 -> gpt 에 의하면 나의 환경에 맞는 pytorch는 1.12.1 이라고 한다. 왠지는 잘..

프로젝트를 하다가 앱을 만드는데 있어서 음성 녹음을 받아서 chatgpt한테 넘겨주는 애플리케이션을 만드는 데 있어서, vad의 중요성을 알게 되었습니다. 관련 아티클 : https://thegradient.pub/one-voice-detector-to-rule-them-all/  One Voice Detector to Rule Them AllVAD is among the most important and fundamental algorithms in any production or data preparation pipelines related to speechthegradient.pub VAD의 필요성은, STT를 사용하려면 wav file 또는 mp3 파일이 있어야지 그걸 STT 모델에 전달 할 수 ..

기본적으로 RAG에 관한 관심이 굉장히 많아지는 요즘, 제대로 한 번 해보기로 했습니다.reference site : https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb openai-cookbook/examples/Question_answering_using_embeddings.ipynb at main · openai/openai-cookbookExamples and guides for using the OpenAI API. Contribute to openai/openai-cookbook development by creating an account on GitHub.gi..

지난 포스트에서, RAG을 할 바에야 RAFT를 하는 것이 낫다는 결론을 내면서 끝을 냈습니다. 하지만 실제로 어떤 식으로 Fine-tuning 을 해야되는 지에 대해서는 알아보지 않았는데요, 이번 포스트에서는 어떤식으로 Fine-tuning을 하는지에 대해서 실질적인 예시를 가져와서 알아보도록 하겠습니다.   위의 example은 실제 training 에 사용되는 데이터를 가지고 온 것입니다.  이를 활용하면, 실제 finetune 하는게 그렇게 어렵지 않을 것 같습니다. 하지만 확실히, 그냥 finetuning 하는것보다는 훨씬 공수가 많이 드는 작업이긴 할 것 같습니다. 실제 가져와야되는 데이터들이 많으니깐 말이죠. 그리고 실제 context에서 일일히 참조가 되는 정보를 뽑아서 제공해줘야되기도 하..

요즘 RAG(Retrieval Augmented Generation)를 모르는 사람이 없을 정도로 RAG가 대세로 떠오르고 있습니다. RAG를 모르는 사람들을 위해서 간단하게 설명하자면, RAG란, Base Document가 있고, 거기를 참고해서 Q&A를 하게 만드는 것을 말합니다. Prompt Engineering 을 어떻게 하느냐에 따라 물론 달라지겠지만, Hallucination을 방지하기 위해서 많이 씁니다. 하지만 단점으로는, Base model의 성능에 너무 많은 의존을 하게 되고, 그러다 보니 Foundation 모델의 성능이 떨어지게 되면 성능의 퀄리티가 떨어지는 단점이 있습니다. Foundation model 의 성능에 의존하다 보니, 가장 좋은 모델 (가령, GPT 4)를 쓸 수 밖에..

TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다.  일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j..

Machine Learning 관련해서 Cloud에 pipeline을 올리는 일을 하려고 하는데, TFX를 사용해서 하고싶다는 욕구가 강하게 들었습니다. 그 이유는 W&B Seminar를 갔었는데, TFX를 사용하는 게 좋다고 말을 많이 들었기 때문이죠. Etri의 박찬성 연구자분이 하시는 세미나를 듣고, 잘 모르지만 써보고 싶다는 욕구가 강하게 들어서, 한번 사용해 보았습니다. 하지만.. 현실은.. 좋지 않았습니다. 그럼 TFX가 무엇인가? 에 대해서 간단하게 말씀드리자면, TFX 는 프로덕션 ML 파이프라인을 배포하기 위한 End to End platform입니다. 한 마디로, 코드 component 들을 모아놓은 라이브러리들의 합 (그래서 플랫폼) 이라고 할 수 있습니다. 결국 로컬에서 사용할 수도..

제 포스트에서 https://walkaroundthedevelop.tistory.com/127 Anaconda 가상환경을 jupyter notebook에서 사용하기 Jupyter Notebook은 여러 개의 파이썬 스크립트를 순차적으로 실행하고 디버깅 해볼 수 있도록 가능하게 하는 좋은 툴입니다. 하지만 항상 머신러닝에서 그러듯이, 가상환경과 라이브러리 인스톨하 walkaroundthedevelop.tistory.com python conda 환경을 kernel에서 어떻게 사용하는지 포스팅을 썼습니다. gcp vertex ai 에서 이렇게 했는데도 python version이 바뀌지 않는 것을 발견했습니다. !python3 --version !which python3 !which jupyter Pytho..

콘테스트 3번 문제로 나온 문제인데, 이 문제도 그렇게 어려운 편은 아니었던 것 같습니다. Y자의 위에까지부분을 iterate하고, 그 다음 부분을 iterate 합니다. 가짓수가 그렇게 많지는 않기 때문에 모든 경우의 수를 다 해버렸습니다. 나중에 결과 보니깐 시간 복잡도 측면에서는 좀 안좋게 나왔네요. class Solution: def minimumOperationsToWriteY(self, grid: List[List[int]]) -> int: n = len(grid) def ttry(x, y): count = 0 for i in range((n // 2)): for j in range(n): if i == j: if grid[i][j] != x: count += 1 elif n-j-1 == i:..