걸어서개발한바퀴

문제 상황Android 앱 개발 중 Camera2 API를 사용하여 이미지를 캡처한 후 외부 저장소에 저장하려고 했을 때, 다음과 같은 예외가 발생할 수 있습니다:FATAL EXCEPTION: videoThreadProcess: com.example.myapplication, PID: 17049java.io.FileNotFoundException: /storage/emulated/0/thisimage.jpg: open failed: EPERM (Operation not permitted)이 에러는 Android의 저장소 접근 정책 변화로 인해 발생하는데, 특히 Android 10(API 29) 이상에서는 Scoped Storage가 도입되면서 앱이 외부 저장소에 접근하는 방식이 제한되었습니다.원인 분석S..

SQL과 GCP cloudsql을 연결하는 방법에 대해서 포스팅을 하도록 하겠습니다. 그렇게 어렵지는 않지만, 생각보다 쉽지 않은 점이 있기 때문에, 정리를 해두려고 합니다. (chatgpt 활용!) 1. GCP Cloud SQL 인스턴스 준비하기Cloud SQL 인스턴스 생성GCP 콘솔에서 Cloud SQL 페이지로 이동합니다.“인스턴스 생성” 버튼을 클릭한 후, 데이터베이스 유형으로 “MySQL”을 선택합니다.인스턴스 이름, 비밀번호, 지역 등을 설정한 뒤 인스턴스를 생성합니다.네트워크 설정 확인생성된 Cloud SQL 인스턴스의 “연결” 탭으로 이동합니다.“공개 IP”를 활성화하고, 연결할 클라이언트의 IP 주소를 허용 목록(Authorized Networks)에 추가합니다.본인의 IP 주소를 확인..

2024년 10월 1일에 openai에서 실시간 streaming api를 출시하였습니다. https://openai.com/index/introducing-the-realtime-api/ 정확한 내용은 websocket을 이용한 방식이며, 오디오 스트리밍을 제공한다고 합니다. 가격은 다음과 같습니다.$2.50/1M cached text input tokens and $20/1M cached audio input tokens사실 비싼건지 싼건지 그렇게 감이 오지는 않네요. 써봐야지 알 것 같긴 하지만 스케일링 하기엔 좋지 않아보이긴 합니다.그리고.. 2024년 12월 17일 WebRTC 업데이트를 발표합니다.정확한 사항은 아래 링크를 참고하면 될 거 같습니다. https://platform.openai...

플러터 앱 개발 & 출시하기라는 책을 사서 새로 flutter 앱을 만들려고 합니다. 책에 나온 이야기를 조금 요약하자면, 1. Android Studio or Visual Studio 설치 (이미 되어있음)2. Flutter sdk 설치하기 (3. xx) - android studio 에 플러그인도 설치flutter doctor 로 인증 가능emulator 또는 실제 Device로 테스트 가능 그리고.. firebase 설치하기.Firebase에 대해서 chatgpt 에 물어보니깐 이렇게 말해줍니다. Firebase: 앱 개발을 위한 올인원 플랫폼Firebase는 Google에서 제공하는 모바일 및 웹 애플리케이션 개발 플랫폼으로, 앱 개발, 테스트, 배포, 모니터링까지 모든 단계를 지원합니다.주요 기..

이전에 구축했을 때는 온갖 삽질을 다 해서 했는데, GPT 와 함께하니 좋은 설정들을 알려주면서 해서 정말 시간 절약이 많이 되었다.그래도 미리 알고 있는거랑 아닌거는 차이가 많이 나니, 정리를 해보도록 하면, 1. nvidia driver 470.223 이미 installed. 2. Cuda version -> nvidia-smi 에서 뜨는것은 아마도 추천 버전인 듯 했다.sudo apt install cuda-toolkit 을 하니.. (좀 다를수도 있다) 11.3이 뜨는데 그것도 괜찮을거같아서 install 했다.3. nvcc --version으로 cuda version 확인 4. pytorch 버전 확인 -> gpt 에 의하면 나의 환경에 맞는 pytorch는 1.12.1 이라고 한다. 왠지는 잘..

프로젝트를 하다가 앱을 만드는데 있어서 음성 녹음을 받아서 chatgpt한테 넘겨주는 애플리케이션을 만드는 데 있어서, vad의 중요성을 알게 되었습니다. 관련 아티클 : https://thegradient.pub/one-voice-detector-to-rule-them-all/  One Voice Detector to Rule Them AllVAD is among the most important and fundamental algorithms in any production or data preparation pipelines related to speechthegradient.pub VAD의 필요성은, STT를 사용하려면 wav file 또는 mp3 파일이 있어야지 그걸 STT 모델에 전달 할 수 ..

기본적으로 RAG에 관한 관심이 굉장히 많아지는 요즘, 제대로 한 번 해보기로 했습니다.reference site : https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb openai-cookbook/examples/Question_answering_using_embeddings.ipynb at main · openai/openai-cookbookExamples and guides for using the OpenAI API. Contribute to openai/openai-cookbook development by creating an account on GitHub.gi..

지난 포스트에서, RAG을 할 바에야 RAFT를 하는 것이 낫다는 결론을 내면서 끝을 냈습니다. 하지만 실제로 어떤 식으로 Fine-tuning 을 해야되는 지에 대해서는 알아보지 않았는데요, 이번 포스트에서는 어떤식으로 Fine-tuning을 하는지에 대해서 실질적인 예시를 가져와서 알아보도록 하겠습니다.   위의 example은 실제 training 에 사용되는 데이터를 가지고 온 것입니다.  이를 활용하면, 실제 finetune 하는게 그렇게 어렵지 않을 것 같습니다. 하지만 확실히, 그냥 finetuning 하는것보다는 훨씬 공수가 많이 드는 작업이긴 할 것 같습니다. 실제 가져와야되는 데이터들이 많으니깐 말이죠. 그리고 실제 context에서 일일히 참조가 되는 정보를 뽑아서 제공해줘야되기도 하..

요즘 RAG(Retrieval Augmented Generation)를 모르는 사람이 없을 정도로 RAG가 대세로 떠오르고 있습니다. RAG를 모르는 사람들을 위해서 간단하게 설명하자면, RAG란, Base Document가 있고, 거기를 참고해서 Q&A를 하게 만드는 것을 말합니다. Prompt Engineering 을 어떻게 하느냐에 따라 물론 달라지겠지만, Hallucination을 방지하기 위해서 많이 씁니다. 하지만 단점으로는, Base model의 성능에 너무 많은 의존을 하게 되고, 그러다 보니 Foundation 모델의 성능이 떨어지게 되면 성능의 퀄리티가 떨어지는 단점이 있습니다. Foundation model 의 성능에 의존하다 보니, 가장 좋은 모델 (가령, GPT 4)를 쓸 수 밖에..

TFX를 사용해서 ml pipeline을 만드는 법에 대한 피드백을 저번 글에서 했었는데, 이번에는 Kubeflow를 사용해서 ml pipeline 을 만드는 방법을 공유하고자 합니다. 약간의 삽질(?)이 필요하지만, 꾸준히 하다보면 감을 잡으실 수 있을거라고 생각합니다. 오늘 소개할 내용은 codelabs.developers.google 에서 제공하는 tutorial을 따라가는 내용이고, 그 전에 gcp에 대한 경험이 좀 있으면 좋을 것이라고 생각합니다.  일단 Vertex Pipeline을 실행(?)이라고 해야되나 만든다고 해야되나.. 하기 위해서는 여러가지 방법이 있습니다. 그 중 하나는 google console에 들어가서 vertex pipeline에 들어가서 코드를 올리는 방법이 있고, 또 j..