티스토리

걸어서개발한바퀴

검색하기

블로그 홈

걸어서개발한바퀴

walkaroundthedevelop.tistory.com/m

개발여행 가 봅시다~

구독자: 1

방명록 방문하기

주요 글 목록

openai 를 이용한 RAG (Question and Answer) - openai cookbook 기본적으로 RAG에 관한 관심이 굉장히 많아지는 요즘, 제대로 한 번 해보기로 했습니다.reference site : https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb openai-cookbook/examples/Question_answering_using_embeddings.ipynb at main · openai/openai-cookbookExamples and guides for using the OpenAI API. Contribute to openai/openai-cookbook development by creating an account on GitHub.gi.. 공감수 0 댓글수 2 2024. 7. 23.
RAFT(Retrieval Augemented Fine tuning)에서 어떤 식으로 Fine tuning을 해야할까요? 지난 포스트에서, RAG을 할 바에야 RAFT를 하는 것이 낫다는 결론을 내면서 끝을 냈습니다. 하지만 실제로 어떤 식으로 Fine-tuning 을 해야되는 지에 대해서는 알아보지 않았는데요, 이번 포스트에서는 어떤식으로 Fine-tuning을 하는지에 대해서 실질적인 예시를 가져와서 알아보도록 하겠습니다. 위의 example은 실제 training 에 사용되는 데이터를 가지고 온 것입니다. 이를 활용하면, 실제 finetune 하는게 그렇게 어렵지 않을 것 같습니다. 하지만 확실히, 그냥 finetuning 하는것보다는 훨씬 공수가 많이 드는 작업이긴 할 것 같습니다. 실제 가져와야되는 데이터들이 많으니깐 말이죠. 그리고 실제 context에서 일일히 참조가 되는 정보를 뽑아서 제공해줘야되기도 하.. 공감수 0 댓글수 0 2024. 7. 17.
RAG의 새로운 대안 .. RAFT(RAG 할바에야 RAFT!) 요즘 RAG(Retrieval Augmented Generation)를 모르는 사람이 없을 정도로 RAG가 대세로 떠오르고 있습니다. RAG를 모르는 사람들을 위해서 간단하게 설명하자면, RAG란, Base Document가 있고, 거기를 참고해서 Q&A를 하게 만드는 것을 말합니다. Prompt Engineering 을 어떻게 하느냐에 따라 물론 달라지겠지만, Hallucination을 방지하기 위해서 많이 씁니다. 하지만 단점으로는, Base model의 성능에 너무 많은 의존을 하게 되고, 그러다 보니 Foundation 모델의 성능이 떨어지게 되면 성능의 퀄리티가 떨어지는 단점이 있습니다. Foundation model 의 성능에 의존하다 보니, 가장 좋은 모델 (가령, GPT 4)를 쓸 수 밖에.. 공감수 0 댓글수 3 2024. 7. 16.
Kubeflow를 이용한 Vertex Pipeline 만들기 (Intro) TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다. 일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j.. 공감수 0 댓글수 0 2024. 4. 29.
ML Pipeline - TensorFlow Extended 억울해서 올리는 후기 Machine Learning 관련해서 Cloud에 pipeline을 올리는 일을 하려고 하는데, TFX를 사용해서 하고싶다는 욕구가 강하게 들었습니다. 그 이유는 W&B Seminar를 갔었는데, TFX를 사용하는 게 좋다고 말을 많이 들었기 때문이죠. Etri의 박찬성 연구자분이 하시는 세미나를 듣고, 잘 모르지만 써보고 싶다는 욕구가 강하게 들어서, 한번 사용해 보았습니다. 하지만.. 현실은.. 좋지 않았습니다. 그럼 TFX가 무엇인가? 에 대해서 간단하게 말씀드리자면, TFX 는 프로덕션 ML 파이프라인을 배포하기 위한 End to End platform입니다. 한 마디로, 코드 component 들을 모아놓은 라이브러리들의 합 (그래서 플랫폼) 이라고 할 수 있습니다. 결국 로컬에서 사용할 수도.. 공감수 0 댓글수 0 2024. 4. 23.
gcp vertex ai 에서 python version 안맞을 때 제 포스트에서 https://walkaroundthedevelop.tistory.com/127 Anaconda 가상환경을 jupyter notebook에서 사용하기 Jupyter Notebook은 여러 개의 파이썬 스크립트를 순차적으로 실행하고 디버깅 해볼 수 있도록 가능하게 하는 좋은 툴입니다. 하지만 항상 머신러닝에서 그러듯이, 가상환경과 라이브러리 인스톨하 walkaroundthedevelop.tistory.com python conda 환경을 kernel에서 어떻게 사용하는지 포스팅을 썼습니다. gcp vertex ai 에서 이렇게 했는데도 python version이 바뀌지 않는 것을 발견했습니다. !python3 --version !which python3 !which jupyter Pytho.. 공감수 0 댓글수 0 2024. 3. 25.
3071. Minimum Operations to Write the Letter Y on a Grid 콘테스트 3번 문제로 나온 문제인데, 이 문제도 그렇게 어려운 편은 아니었던 것 같습니다. Y자의 위에까지부분을 iterate하고, 그 다음 부분을 iterate 합니다. 가짓수가 그렇게 많지는 않기 때문에 모든 경우의 수를 다 해버렸습니다. 나중에 결과 보니깐 시간 복잡도 측면에서는 좀 안좋게 나왔네요. class Solution: def minimumOperationsToWriteY(self, grid: List[List[int]]) -> int: n = len(grid) def ttry(x, y): count = 0 for i in range((n // 2)): for j in range(n): if i == j: if grid[i][j] != x: count += 1 elif n-j-1 == i:.. 공감수 0 댓글수 0 2024. 3. 5.
3070. Count Submatrices with Top-Left Element and Sum Less Than k 사실 그렇게 어려운 문제는 아니었습니다. weekly contest에서 두번째로 나왔던 문제로, prefix sum을 사용해서, 각 row의 합을 저장해서 새로운 list에 저장하고, 새로운 row에서 iterate할 때는 새로운 row에서 그 row의 합들과 지금까지 더한 위의 row의 합을 더해주는 방식으로 해서 몇 번의 시행착오 끝에 풀어낼 수 있었습니다. class Solution: def countSubmatrices(self, grid: List[List[int]], k: int) -> int: m, n = len(grid[0]), len(grid) new_matrix = [[0 for _ in range(m)] for _ in range(n)] # print(new_matrix) count .. 공감수 0 댓글수 0 2024. 3. 5.
metric learning / deep metric learning에 관하여 Metric learning은 Machine learning 의 한 분야로, object 간의 거리 함수를 학습하는데 초점을 맞춘다고 합니다. 이 거리 함수는 metric 공간에서의 similarity 또는 dissimilarity 를 결정하는데 사용된다고 합니다. k-nn(nearest neighbor 나, clustering 등의 방법에도 이용이 된다고 합니다. Deep Metric learning이란, 앞에서 설명한 Metric Learning을 Deep learning 에 적용시킨 것이라고 볼수 있을 것입니다. 각각의 데이터들의 거리를 임베딩 공간 측정해서, 유사한 객체는 서로 가깝게, 그렇지 않은 객체는 멀게 배치 합니다. 이미지 인식, 얼굴 검증, 추천 시스템 등의 작업에 유용하다고 합니다. .. 공감수 1 댓글수 1 2024. 1. 31.
RAG란? 그리고 Langchain 을 이용한 구현까지 RAG란, Retrieval-Augmented Generation의 약자로, retriever(검색기) 파트와 generator(생성기) 파트로 나눠져 있습니다. retriever는 관련 정보를 Database에서 검색하고, 생성기는 이 정보를 사용하여서 최종 응답을 생성합니다. 관련 링크 : https://python.langchain.com/docs/use_cases/question_answering/ Q&A with RAG | 🦜️🔗 Langchain Overview python.langchain.com Indexing 이후에, (load -> split -> store)이후에, Vector Database 또는 Embedding model 에 저장한 후에, Retrieval 과 Generation.. 공감수 0 댓글수 0 2024. 1. 23.
python secret 이용해서 api_key 만들기 chatgpt 한테 물어봤습니다. q: how can I make api key using python secret? To create an API key using Python's `secrets` module, you can follow these steps: 1. **Import the `secrets` module**: This is a module in Python's standard library used for generating cryptographically strong random numbers suitable for managing data such as passwords, account authentication, security tokens, and related secrets. .. 공감수 0 댓글수 1 2023. 12. 20.
git fetch 이후 merge 하기 보통 git pull할 때 가장 두려운 상황은 conflict나는 상황일 것입니다. 물론 clean하게 유지한다는 가정하에 git pull이 실패할 리는 없겠지만, 그래도 conflict를 피할 수 없는 상황은 무조건 나오기 마련입니다. 그걸 막기 위해서 생겨난 커맨드는 git fetch 입니다. ChatGPT에서 말해주는 fetch 이후 merge 방법입니다. 더보기 Q) what should I do after git fetch to merge? 1. Check Out the Branch You Want to Update: Make sure you're on the branch that you want to update with changes from the remote. Use git checkou.. 공감수 0 댓글수 1 2023. 12. 15.
augmentation을 통해서 data imbalance 맞춰주기 학습할 때, 가장 중요한 것 중 하나가 data balance를 맞춰 주는 것일 겁니다. 만약 두 개의 클래스가 한 개의 클래스는 100장, 한 개의 클래스는 1000장이 있다고 하면, 두 개의 클래스의 밸런스를 맞춰주기 위해서는 1000장을 100장으로 맞춰주기보다는 100장을 1000장으로 맞춰주는게 나을 것입니다. import os from tensorflow.keras.preprocessing.image import ImageDataGenerator, img_to_array, load_img import numpy as np from PIL import Image, ImageEnhance # Directory containing the images to augment input_dir = 'c.. 공감수 0 댓글수 0 2023. 11. 6.
ChatGPT 로 쓴 data split script (Image classification) ChatGPT로 다음과 Image classification 관련해서 train, val, test 관련된 python script 를 써달라고 말해 봤습니다. 다음은 말한 ChatGPT Script 입니다. 더보기 write me a script in python that splits images into train/val/test. The source will have several directories with images in it. Target will be empty at first. the Target will output three directories, which will maintain the directory structure as the source directory. We shou.. 공감수 0 댓글수 0 2023. 10. 5.
원격으로 Jupyter notebook 사용하기 안녕하세요 오늘은 원격으로 Jupyter notebook에 접속하는 방법에 대해서 알아보도록 하겠습니다. 먼저 전제조건이 필요한데, 포트포워딩 등을 통해서 ssh 를 접속 할 수 있는 것을 기본조건으로 하겠습니다. ssh walkaroundthedevelop@10.22.33.444 로 접근할 수 있다는 걸 전제조건으로 합니다. 하지만 vim으로 작업하는건 너무 힘듭니다. 로컬이 아니라서 딜레이도 있을 거구요. 일단 연결하려는 곳에서 jupyter notebook 을 실행합니다. jupyter notebook --allow-root --ip 0.0.0.0 그 이후 연결하고자 하는 곳에서 브라우저에 다음과 같이 치면 됩니다. http://10.22.33.444:8888/ 이후 password 및 token을.. 공감수 0 댓글수 0 2023. 9. 7.
tf 에서 confusion matrix에서 actual value와 prediction value가 다른 경우 이미지 분류 모델을 test 하는데 있어서, test script를 짤 일이 있었습니다. confusion matrix를 만드는데, actual value와 prediction value을 다르게 만들고 싶어서 찾아봤습니다. 위의 경우와 같이 predicted value와 actual value가 같은 경우도 당연히 있고, 결국 맞출 수 있을것으로도 생각되지만, 어떤 경우에는 actual value 와 predicted value가 다른 경우도 있을 것입니다. 이에 대해서 한번 보았습니다. 일단 같을 때의 코드를 봅시다. import numpy as np import tensorflow as tf import pandas as pd def create_confusion_matrix(y_true, y_pr.. 공감수 0 댓글수 0 2023. 8. 18.
Classification 에서의 ROC curve 와 AUC의 관계 https://walkaroundthedevelop.tistory.com/80 Precision과 Recall, 그리고 f1 score 참고 : https://jinmc.github.io/ds_blog/posts/ml_andrew_ng/wk6/ 오늘은 Precision과 Recall, mAP에 대해서 정리해보도록 하겠습니다. 예를 들어서, 100명의 사람과 10명의 암환자가 있다고 생각해 봅시다. 암환자 입장 walkaroundthedevelop.tistory.com 기초 개념은 위의 포스팅에서 썼던 precision과 Recall의 관계에 있습니다. FPR(False Positive Rate)을 사용합니다. 우리가 사용했던 Precision의 경우 False Positive와 True positive를.. 공감수 0 댓글수 0 2023. 8. 1.
Jetson 에서 LLAMA2 돌리기! 결론부터 말하면, 돌리기는 실패했습니다. 하지만 llama.cpp를 make하는데까지는 성공하고, 또 어떤 노력으로 돌리려고 했는지의 과정을 설명하려고 합니다. 사용 device : Nvidia Jetson Xavier NX Developer cat /proc/device-tree/model 그 전에 llama2를 로컬에서 돌리는 방법의 포스팅을 참고해서, https://walkaroundthedevelop.tistory.com/166 맥북 실리콘에서 LLAMA2 로컬에서 돌리는 방법입니다. reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resource.. 공감수 0 댓글수 0 2023. 7. 28.
LLAMA2. 과연 엄청난 혁신일까? LLAMA 모델이 공개(또는 유출?) 되면서 한번 파란이 일었었는데, 생각보단..? 별로 우리의 삶에 영향이 없었던 것으로 생각됩니다.그 이유로는, 아마 훨씬 더 좋은 모델인 GPT3, GPT3.5, GPT4 가 무료 또는 적은 비용으로 사용이 가능하기 때문이라고 생각됩니다. 게다가, LLAMA 초기 모델의 경우 모델을 구하는것도 상당히 어려웠어서, 더 개발하기가 힘든 부분이 있었습니다. 하지만 이번 LLAMA2 같은 경우, 메타에서 작정하고 내놓은 느낌입니다. 그럼 LLAMA 1에 비해서 어떤 점이 달라졌는지 살펴볼까요?? context size가 커진 것, 훈련에 사용된 데이터가 40% 늘어난 점, 상업적 사용이 가능한 점 이외에, 가장 중요한 점은, Fine-tune할 수 있는 Chat versio.. 공감수 0 댓글수 0 2023. 7. 24.
맥북 실리콘에서 LLAMA2 로컬에서 돌리는 방법입니다. reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 2. Clone: https://github.com/facebookresearch/llama 3. Clone: https://github.com/ggerganov/llama.cpp 위 두 개의 git repository를 클론하고 1번 url에서 llama2 model을 받습니다. llama2 모델은 (7B, 13B, 70B, 7B-chat, 13B-chat, 70B-chat) 6가지 종류 중 하나입니다. 7B 모델 기준 .. 공감수 1 댓글수 2 2023. 7. 24.
딥러닝ai ChatGPT Prompt Engineering for Developers 정리와 리뷰 딥러닝ai 에 있는 ChatGPT Prompt engineering for developers 강의를 들은 정리와 소감 내용입니다. 강의는 deeplearning.ai 에 있으며, https://github.com/jinmc/chatGPT-Prompt-Engineering-for-Developers 에 관련 노트북 코드도 올려 놓았습니다. 1. Guidelines delimeter 사용하기 (특히 input에 관해서), json, html 등의 포맷으로 리턴하기, 스텝을 거쳐서 모든 조건이 완료되었는지 확인, Few-shot prompting (대화에 맞춰서 response output 하기), 몇 단계를 나눠서 response를 output하기, 등등 2. Iterative prompt developm.. 공감수 0 댓글수 0 2023. 7. 21.
ChatGPT Finetuning 정리 (7/4) ChatGPT의 시대가 열리면서, ChatGPT 를 어떻게 활용해야 되는지에 대해서 온갖 방법들이 생깁니다. ChatGPT 그 자체로도 훌륭하지만, 좀 더 Customize 하고 싶은 사람들이 많아지면서 Finetuning에 대한 방법이 나옵니다. Finetuning을 하는 이유에 대해서 먼저 정리해 보자면, Fine-tuning lets you get more out of the models available through the API by providing: Higher quality results than prompt design Ability to train on more examples than can fit in a prompt Token savings due to shorter prompt.. 공감수 0 댓글수 2 2023. 7. 5.
No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi ndk 관련 문제 해결 안드로이드에서 다음과 같은 에러가 나왔습니다. No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi 여러가지를 시도해봤지만, 결국 통한 것은, android studio 에서 tools->SDK Manager->Android SDK -> SDK Tools 에 들어가면 있습니다. 원래 여러 개의 ndk 가 설치 되어있었는데 다 클릭 해제 하고 하나만 클릭해서 설치했더니 되었습니다. 시도했던 것들: cache invalidate, ndk-build install-toolchain, gradle 에다가 경로저장, 등등이 있습니다. 참고자료 : https://github.com/flutter/flutt.. 공감수 0 댓글수 0 2023. 6. 22.
cudnn 새로설치 (feat. DNN library not found) keras를 사용해서 image classification모델을 만드는 작업을 진행 중 다음과 같은 에러를 발견했습니다. DNN library is not found. 앗 뭐지.. 하던 중 그 위의 로그에서 CuDNN이 제대로 설치되어있지 않다는 신호가 뜨네요. Loaded runtime CuDNN library: 8.1.1 but source was compiled with: 8.6.0. CuDNN library needs to have matching major version and equal or higher minor version. If using a binary install, upgrade your CuDNN library. If building from sources, make sure t.. 공감수 1 댓글수 0 2023. 6. 20.
keras를 이용한 image classification 구현하고 저장하기 (mobilenet, tflite) 안녕하세요 저번 포스트에서 tflite model maker를 통해서 안드로이드에서 tflite model maker를 통해 모델을 만드는 법을 포스팅하였습니다. 2023.06.02 - [모바일/안드로이드] - 안드로이드에서 Image classification 모델 만들기 하지만 tflite_model_maker의 경우 여러가지 제약상황이 많았습니다. 그 중 하나는, tflite_model_maker로 나온 결과는 uint8의 데이터타입으로 나온다는 점입니다. 딱히 이를 고칠 수 있는 방법이 없는 것 같습니다. 하지만 keras api를 사용하면 훨씬 쉽고 커스텀하기 편하게 만들 수 있습니다. 예를들어 이 코드를 봅시다. import numpy as np from tensorflow.keras.appl.. 공감수 0 댓글수 0 2023. 6. 20.
openai image generation를 사용해서 이미지를 만들어봅시다 정말 좋은 세상인 것 같습니다. 이제는 이미지를 만들어주는 api도 뚫리고, 해보니깐 꽤나 잘되네요. 물론 api_key가 있어야 하겠지만, 간단한 스크립트로 몇백개나 몇천개의 이미지를 손쉽게 만들수 있습니다. 다만, images 라는 폴더를 만들어줘야 합니다. size의 경우에는 256x256, 512x512, 1024x1024 세 가지가 있다고 하고, response_format은 url, b64_json 두 가자의 포맷이 있다고 합니다. num은 1에서 10까지 정할 수 있고, 첫번째 for loop에 얼마나 많은 값의 숫자를 넣느냐에 따라 받는 이미지의 양을 정할 수 있습니다. 현재 10으로 되어있기 때문에, 100장이 나오고, 100으로 하면, 1000장이 나옵니다. 해봤을 때, 250장 정도까.. 공감수 0 댓글수 0 2023. 6. 13.
리눅스에서 C++ (G++?) 설정하기 요즘 핫한 GoundingDino 설정하다보니깐, 에러를 잡다가 보니깐, 결국 여기까지 오게 됬네요. GroundingDino 설정은 결국 cuda_home을 환경변수로 설정해주는 이슈로 해결해주긴 했지만, 그 와중에 g++ 버전을 바꿔주는 방법을 포스팅 하도록 하겠습니다. 일단 내가 현재 사용하는 g++ 버전을 확인하는 방법입니다. which g++ 이를 통해서 어디에서 g++이 실행되는지 알 수 있습니다. 보통 /usr/bin에서 실행되는데, ls -lha 를 통해서 symlink를 확인할 수 있습니다. ls -alh /usr/bin | grep g++* 이런 식으로 g++을 사용하는 것을 알아냅니다. lrwxrwxrwx 1 root root 15 5월 15 18:45 /usr/bin/g++ -> /.. 공감수 0 댓글수 0 2023. 6. 9.
안드로이드용 tflite image classification 모델 inference 스크립트 안녕하세요 저번 포스트에서 만들었던, 모델을 실제로 어떤 식으로 테스트 해볼수 있을까요? 다음 스크립트를 사용하면 테스트를 해볼 수 있습니다. reference: https://www.tensorflow.org/lite/inference_with_metadata/task_library/image_classifier #Imports from tflite_support.task import vision from tflite_support.task import core from tflite_support.task import processor from tensorflow_lite_support.python.task.core import base_options as base_options_module from .. 공감수 0 댓글수 0 2023. 6. 5.
안드로이드에서 Image classification 모델 만들기(tflite model maker) 안녕하세요 오늘은 Android 에서 돌아가는 Image Classfication model에 대해서 알아보도록 하겠습니다. Image Classification은 CNN중에서도 가장 기본적인 활용인 만큼, 의미가 있을것으로 보입니다. reference: https://www.tensorflow.org/lite/models/modify/model_maker/image_classification Image classification with TensorFlow Lite Model Maker Thanks for tuning in to Google I/O. View all sessions on demandWatch on demand Image classification with TensorFlow Lite M.. 공감수 0 댓글수 0 2023. 6. 2.
로컬에서 LLM을 돌려봅시다.. (2) 장비를 맞춰봅시다 요즘 NLP를 하고 있는데, 진입장벽이 많이 높다는 생각이 듭니다. 특히 LLM 쪽은, 하드웨어 진입장벽 때문에라도 보통 사람들이 쉽게 접근하기 어렵다는 생각이 많이 듭니다. LLM의 시대를 연 ChatGPT의 경우에는.. 너무 높은 사양을 요구해서 개인이 실질적으로 하기는 힘들지만, 새로운 LLAMA의 경우에는, 특히 낮은 사양의 경우에는 충분히 인퍼런스 할만하다고 생각이 드는게 사실입니다. 시작하기 전에, 이 포스팅을 위해 참고를 많이 한 블로그를 소개하겠습니다. reference : https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/ The Best GPUs for Deep Learning in 2023 — An In-depth Anal.. 공감수 1 댓글수 0 2023. 6. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.