걸어서개발한바퀴

안녕하세요 오늘은 label studio ml backend 구축에 대해서 해 보기 전, label-studio에 대해서 알아보는 포스팅을 하도록 하겠습니다. https://labelstud.io/ 상당히 복잡한 프로세스를 거쳤기에, 쉽지않은 프로세스가 될 것으로 보입니다. 일단 선행조건으로, label-studio 를 설치하고 실행하는 것이 될 것입니다. label studio 란, labeling을 할 수 있게 해주는 labeling 툴 중 하나입니다. 기존의 labelImg라는 툴을 사용했었는데, labelImg를 다운받으려고 검색하던 와중 label studio로 병합되었다는 소식을 들었습니다. label studio는 오픈소스 타입의 labeling tool 입니다. 하지만 label studi..

제 블로그의 인기 포스트 OpenCV를 이용해서 두개의 이미지 비교하기 의 심화편 입니다. 예를 들어, 다음과 같은 영상 이 있을 때, 비디오의 ssim을 비디오로 계속 보고 싶다고 생각하면, 처음 이미지를 기준으로 잡고, 그 이미지를 바탕으로 계속 그 차이를 표시할 수 있습니다. 원봉 영상 diff import cv2 from skimage.metrics import structural_similarity as ssim import numpy as np cap = cv2.VideoCapture('thisvideo.mp4') w, h = round(cap.get(3)), round(cap.get(4)) orig_img, grayA = None, None fps = 0 # 코덱값 fourcc = cv2.V..

딥러닝을 하던 중, training set을 Batch size 32로 학습하고, Test set을 Batch size 32로 inference 했을 때 좋은 accuracy가 나오는데, Test set을 Batch 1으로 하면 accuracy가 많이 떨어지는 현상이 발생하였습니다. 게다가 prediction을 찍어 보니깐, 전혀 prediction을 못하는 것으로 나왔습니다. batch normalization 문제라고 생각했었는데, 알고 보니깐 model.eval()을 넣지 않아서 생기는 문제였습니다. model.eval()을 해주고 나서 inference를 하니깐 평가가 잘 되는 것을 발견하였습니다. 이 포스트에서 자세하게 나와있습니다. model.eval()로 해결! 또한 pytorch포럼에 따르..

Problem 2413, 2414, 2415, 2416. Problem 2413. 코드 : class Solution: def smallestEvenMultiple(self, n: int) -> int: if n % 2 == 0: return n else: return n * 2 Problem 2414 : 코드 : class Solution: def longestContinuousSubstring(self, s: str) -> int: result = 1 temp = 1 for i in range(1, len(s)): if ord(s[i]) - ord(s[i-1]) == 1: temp += 1 result = max(result, temp) else: temp = 1 # print(ord(s[i]) - ..

전 포스팅 데이터 전처리 에서 데이터 전처리 과정에 대해서 다뤄봤습니다. 이번 포스팅에서는 데이터 전처리에서 처리한 SoundDS 클래스를 어떻게 사용하는지 살펴봅시다. Data Loader 를 사용한 데이터 Batch 사용하기 custom Dataset을 사용하여 Feature와 Label을 모은 데이터를 8:2로 나눕니다. 다음 이미지를 참조하여 주세요! from torch.utils.data import random_split myds = SoundDS(df, data_path) # Random split of 80:20 between training and validation num_items = len(myds) num_train = round(num_items * 0.8) num_val = n..

오디오 딥러닝을 해 봅시다! (사운드 분류) 전체 개념 오디오 딥러닝을 하기 위해서는, 오디오 파일을 Spectrogram이라는 이미지 파일로 만들고, 그걸 이용해서 CNN을 이용한 딥러닝이 가능합니다. 참조에서는 4초 정도의 오디오 파일들을 모은다고 합니다. 데이터 전처리 및 라벨링 라벨링은 여러가지 방법이 있겠지만, 여기서는 CSV 파일을 활용합니다. Pandas를 이용해서 label 정보를 모아줍니다. Pandas는 conda를 이용한다면 conda install, 또는 pip로 설치가 가능합니다. # ---------------------------- # Prepare training data from Metadata file # ---------------------------- import p..

리트코드를 하다보면, 파이썬에서 많이 쓰이는 라이브러리들이 몇 가지 있는데, 그 중 많이 쓰는 라이브러리인 defaultdict에 대해서 알아보도록 하겠습니다. 리트코드를 하다보면, 대략 20프로, 30프로 정도의 문제에서 defaultdict를 쓰면 코드양을 확연하게 줄일 수 있는 좋은 함수라고 생각합니다. 1. import 방법 from collections import defaultdict 2. 활용 및 설명 (1) Counter로 활용! Python에서 자주 사용하는 Counter 모듈도 defaultdict로 쉽게 구현할 수 있습니다. lst에 수를 구하고 싶은 item들이 있다고 할 때, from collections import Counter lst = ["a", "a", "a", "b", ..

안드로이드에서 tflite를 이용해서 모델을 이용한 소리 분류 앱을 만드는 튜토리얼을 진행해 보았습니다. 대부분의 코드는 이 튜토리얼 참조 하였습니다. 참조: 선행학습된 커스텀 오디오 분류 모델 빌드 튜토리얼에서는 새 데이터를 사용하여서 5종류의 새 울음소리를 학습하였습니다. 기본적인 앱은 앞선 튜토리얼과 상당히 비슷합니다. 오디오 분류를 위한 기본 앱 만들기 MainActivity 안에 모든 코드가 있으며, 다음과 같습니다. class MainActivity : AppCompatActivity() { var TAG = "MainActivity" // TODO 2.1: defines the model to be used var modelPath = "this_model.tflite" // TODO 2.2..

tensorflow lite 에서의 anaconda 환경설정에 대해 알아보도록 하겠습니다. 우선 파이썬 버전을 3.8 이하로 맞춰주는게 중요합니다. anaconda 환경을 만들면서, python 버전을 맞춰줍시다. Linux 의 경우 3.5에서 3.8까지 가능하다고 합니다. Mac의 경우 3.5에서 3.7까지 가능하다고 하네요! (주의주의!!) 참조 : 텐서플로우 라이트 환경설정 파이썬 3.8로 만들어봅시다. conda create --name tflite python=3.8 conda install 이 아닌 pip로 인스톨을 해준다고 합니다. python3 -m pip install tflite-runtime jupyter 를 실행시키기 위해서 jupyter notebook 을 인스톨 하고, 환경을 등..

안드로이드에서 머신러닝을 몇 가지 해 보던 중, object detection 어플리케이션을 해 봤는데, audio classification 앱은 실행되지 않는 것을 발견했습니다. 오랜 디버깅 끝에, LogCat에서 다음 로그를 발견했습니다. E/AndroidRuntime: FATAL EXCEPTION: main Process: com.example.mysoundclassification, PID: 31078 java.lang.AssertionError: Error occurred when initializing AudioClassifier: Models are assumed to have the ModelMetadata and SubGraphMetadata. 알아보니, model을 asset 폴더에 ..