걸어서개발한바퀴

chatgpt 한테 물어봤습니다. q: how can I make api key using python secret? To create an API key using Python's `secrets` module, you can follow these steps: 1. **Import the `secrets` module**: This is a module in Python's standard library used for generating cryptographically strong random numbers suitable for managing data such as passwords, account authentication, security tokens, and related secrets. ..

보통 git pull할 때 가장 두려운 상황은 conflict나는 상황일 것입니다. 물론 clean하게 유지한다는 가정하에 git pull이 실패할 리는 없겠지만, 그래도 conflict를 피할 수 없는 상황은 무조건 나오기 마련입니다. 그걸 막기 위해서 생겨난 커맨드는 git fetch 입니다. ChatGPT에서 말해주는 fetch 이후 merge 방법입니다. 더보기 Q) what should I do after git fetch to merge? 1. Check Out the Branch You Want to Update: Make sure you're on the branch that you want to update with changes from the remote. Use git checkou..

학습할 때, 가장 중요한 것 중 하나가 data balance를 맞춰 주는 것일 겁니다. 만약 두 개의 클래스가 한 개의 클래스는 100장, 한 개의 클래스는 1000장이 있다고 하면, 두 개의 클래스의 밸런스를 맞춰주기 위해서는 1000장을 100장으로 맞춰주기보다는 100장을 1000장으로 맞춰주는게 나을 것입니다. import os from tensorflow.keras.preprocessing.image import ImageDataGenerator, img_to_array, load_img import numpy as np from PIL import Image, ImageEnhance ​ # Directory containing the images to augment input_dir = 'c..

ChatGPT로 다음과 Image classification 관련해서 train, val, test 관련된 python script 를 써달라고 말해 봤습니다. 다음은 말한 ChatGPT Script 입니다. 더보기 write me a script in python that splits images into train/val/test. The source will have several directories with images in it. Target will be empty at first. the Target will output three directories, which will maintain the directory structure as the source directory. We shou..

안녕하세요 오늘은 원격으로 Jupyter notebook에 접속하는 방법에 대해서 알아보도록 하겠습니다. 먼저 전제조건이 필요한데, 포트포워딩 등을 통해서 ssh 를 접속 할 수 있는 것을 기본조건으로 하겠습니다. ssh walkaroundthedevelop@10.22.33.444 로 접근할 수 있다는 걸 전제조건으로 합니다. 하지만 vim으로 작업하는건 너무 힘듭니다. 로컬이 아니라서 딜레이도 있을 거구요. 일단 연결하려는 곳에서 jupyter notebook 을 실행합니다. jupyter notebook --allow-root --ip 0.0.0.0 그 이후 연결하고자 하는 곳에서 브라우저에 다음과 같이 치면 됩니다. http://10.22.33.444:8888/ 이후 password 및 token을..

이미지 분류 모델을 test 하는데 있어서, test script를 짤 일이 있었습니다. confusion matrix를 만드는데, actual value와 prediction value을 다르게 만들고 싶어서 찾아봤습니다. 위의 경우와 같이 predicted value와 actual value가 같은 경우도 당연히 있고, 결국 맞출 수 있을것으로도 생각되지만, 어떤 경우에는 actual value 와 predicted value가 다른 경우도 있을 것입니다. 이에 대해서 한번 보았습니다. 일단 같을 때의 코드를 봅시다. import numpy as np import tensorflow as tf import pandas as pd def create_confusion_matrix(y_true, y_pr..

https://walkaroundthedevelop.tistory.com/80 Precision과 Recall, 그리고 f1 score 참고 : https://jinmc.github.io/ds_blog/posts/ml_andrew_ng/wk6/ 오늘은 Precision과 Recall, mAP에 대해서 정리해보도록 하겠습니다. 예를 들어서, 100명의 사람과 10명의 암환자가 있다고 생각해 봅시다. 암환자 입장 walkaroundthedevelop.tistory.com 기초 개념은 위의 포스팅에서 썼던 precision과 Recall의 관계에 있습니다. FPR(False Positive Rate)을 사용합니다. 우리가 사용했던 Precision의 경우 False Positive와 True positive를..

결론부터 말하면, 돌리기는 실패했습니다. 하지만 llama.cpp를 make하는데까지는 성공하고, 또 어떤 노력으로 돌리려고 했는지의 과정을 설명하려고 합니다. 사용 device : Nvidia Jetson Xavier NX Developer cat /proc/device-tree/model 그 전에 llama2를 로컬에서 돌리는 방법의 포스팅을 참고해서, https://walkaroundthedevelop.tistory.com/166 맥북 실리콘에서 LLAMA2 로컬에서 돌리는 방법입니다. reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resource..

LLAMA 모델이 공개(또는 유출?) 되면서 한번 파란이 일었었는데, 생각보단..? 별로 우리의 삶에 영향이 없었던 것으로 생각됩니다.그 이유로는, 아마 훨씬 더 좋은 모델인 GPT3, GPT3.5, GPT4 가 무료 또는 적은 비용으로 사용이 가능하기 때문이라고 생각됩니다. 게다가, LLAMA 초기 모델의 경우 모델을 구하는것도 상당히 어려웠어서, 더 개발하기가 힘든 부분이 있었습니다. 하지만 이번 LLAMA2 같은 경우, 메타에서 작정하고 내놓은 느낌입니다. 그럼 LLAMA 1에 비해서 어떤 점이 달라졌는지 살펴볼까요?? context size가 커진 것, 훈련에 사용된 데이터가 40% 늘어난 점, 상업적 사용이 가능한 점 이외에, 가장 중요한 점은, Fine-tune할 수 있는 Chat versio..

reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 2. Clone: https://github.com/facebookresearch/llama 3. Clone: https://github.com/ggerganov/llama.cpp 위 두 개의 git repository를 클론하고 1번 url에서 llama2 model을 받습니다. llama2 모델은 (7B, 13B, 70B, 7B-chat, 13B-chat, 70B-chat) 6가지 종류 중 하나입니다. 7B 모델 기준 ..