걸어서개발한바퀴

1. 왜 TF-IDF만으로는 부족할까?검색 시스템이나 정보 검색(IR) 분야에서는 문서 내 특정 단어가 얼마나 중요한지를 판단해야 합니다.가장 널리 알려진 기법이 바로 TF-IDF입니다.하지만 TF-IDF만으로는 한계가 있습니다:단어가 너무 자주 등장하면 점수가 비정상적으로 커지는 문제문서 길이를 고려하지 않아서, 긴 문서가 무조건 유리해지는 문제이러한 문제를 해결하기 위해 등장한 것이 바로 BM25입니다. 2. TF-IDF란? (개념과 수식)✅ Term Frequency (TF)한 문서에서 특정 단어가 얼마나 자주 등장하는지를 나타냅니다.TF(t, d) = (문서 d에서 단어 t가 등장한 횟수) ÷ (문서 d의 전체 단어 수)✅ Inverse Document Frequency (IDF)전체 문서 중 해..

모바일에서 돌아갈수 있는 tflite모델을 돌리는데 있어서 output tensor의 갯수를 맞추는 것도 중요하다고 생각합니다. import tensorflow as tf# 모델 파일 로드interpreter = tf.lite.Interpreter(model_path="efficientdet-lite0.tflite")interpreter.allocate_tensors()# 입력 및 출력 텐서 정보 가져오기input_details = interpreter.get_input_details()output_details = interpreter.get_output_details()print("Input Details:", input_details)print("Output Details:", output_deta..

1. 시작: TFLite Model Maker의 문제원래는 TFLite Model Maker를 이용해서 Object Detection 모델을 학습하려고 했습니다. TFLite Model Maker는 TensorFlow Lite 모델을 간편하게 만들 수 있는 라이브러리로, 데이터셋만 준비하면 비교적 쉽게 모델을 학습하고 변환할 수 있습니다. 하지만 라이브러리를 설치하고 실행하는 과정에서 여러 가지 오류가 발생했습니다.대표적인 문제는 다음과 같습니다:라이브러리 의존성 충돌특정 버전의 TensorFlow Lite와 호환되지 않는 문제Colab 환경에서 제대로 동작하지 않는 버그이러한 문제들로 인해 결국 TFLite Model Maker를 포기하고, Mediapipe Model Maker를 활용하기로 결정했습니..

aws를 이용해서 streamlit, bedrock, lamda를 이용해서 application을 만드는 워크샵입니다. https://github.com/kwangwl/amazon-bedrock-workshop/blob/main/stock_agent_workshop/guardrails.py amazon-bedrock-workshop/stock_agent_workshop/guardrails.py at main · kwangwl/amazon-bedrock-workshopamazon-bedrock-workshop. Contribute to kwangwl/amazon-bedrock-workshop development by creating an account on GitHub.github.com AWS를 활용하..

aws에서 제공한 lex, lambda, bedrock을 이용한 RAG chatbot 만들기 중 Lambda  코드에 대해서 포스팅을 하려고 합니다. 시작에 앞서서 각각의 서비스들을 설명해 보자면, 1. AWS Lex챗봇 서비스: 사용자의 입력(텍스트/음성)을 이해하고 대화를 관리합니다.구성 요소:Intent: 사용자의 의도를 정의. 예) 병원 찾기.Slots: 추가로 입력받아야 할 정보. 예) 병원 이름, 위치.2. AWS Lambda서버리스 함수: Lex가 요청한 작업(데이터 처리, 외부 API 호출 등)을 처리합니다.특징:Lex에서 받은 데이터를 처리하고, Bedrock이나 DB와 연동.3. AWS Bedrock생성형 AI 서비스: AI 모델(GPT, Claude 등)을 사용해 자연어 답변 생성.K..

aws 에서 제공해줬던 workshop을 참고한 내용입니다. https://catalog.us-east-1.prod.workshops.aws/workshops/a372f3ed-e99d-4c95-93b5-ee666375a387/ko-KR Amazon Bedrock Q&A multi-modal chatbot with advanced RAGThis workshop implements several advanced RAG technologies such as parent document, reranker, HyDE, RAG fusion, hybrid search.catalog.us-east-1.prod.workshops.awsRAG의 종류에는 다음과 같은 종류가 있습니다. 1. Lexical Search (어휘..

안드로이드에서 객체 감지를 구현하는 방법에는 Google ML Kit과 TensorFlow Lite Object Detection API를 사용하는 방법이 있습니다. 두 기술은 각각 고유한 장단점을 가지고 있으며, 사용 사례에 따라 적합한 선택이 달라질 수 있습니다. 이번 글에서는 두 방법을 비교하고, 어떤 상황에서 적합한지 알아보겠습니다.1. Google ML Kit특징완전한 SDK 제공: Google ML Kit는 개발자가 복잡한 머신러닝 모델을 다루지 않고도 객체 감지 및 기타 AI 기능을 구현할 수 있도록 간단한 API를 제공합니다.온디바이스(On-Device) 처리: 네트워크 연결 없이도 동작하며, 빠르고 효율적입니다.사용자 정의 모델 통합 가능: 기본 모델 외에도 TensorFlow Lite로..

안드로이드의 Camera2 API와 TensorFlow Lite를 사용해 사진을 찍고 기기(On-Device)에서 실시간 Object Detection을 수행하는 방법을 소개합니다. 이 글은 Camera2 API를 활용한 이미지 캡처와 TensorFlow Lite 모델 통합 과정을 설명하며, 여러분의 Android 프로젝트에서 직접 구현할 수 있도록 자세히 안내합니다. github repository: https://github.com/jinmc/camera_test_android/tree/main주요 기능Camera2 API: 고급 카메라 기능과 이미지 캡처 제공.TensorFlow Lite Object Detection: 사전 학습된 TensorFlow Lite 모델을 사용해 실시간 객체 탐지.로컬 ..

문제 상황Android 앱 개발 중 Camera2 API를 사용하여 이미지를 캡처한 후 외부 저장소에 저장하려고 했을 때, 다음과 같은 예외가 발생할 수 있습니다:FATAL EXCEPTION: videoThreadProcess: com.example.myapplication, PID: 17049java.io.FileNotFoundException: /storage/emulated/0/thisimage.jpg: open failed: EPERM (Operation not permitted)이 에러는 Android의 저장소 접근 정책 변화로 인해 발생하는데, 특히 Android 10(API 29) 이상에서는 Scoped Storage가 도입되면서 앱이 외부 저장소에 접근하는 방식이 제한되었습니다.원인 분석S..

SQL과 GCP cloudsql을 연결하는 방법에 대해서 포스팅을 하도록 하겠습니다. 그렇게 어렵지는 않지만, 생각보다 쉽지 않은 점이 있기 때문에, 정리를 해두려고 합니다. (chatgpt 활용!) 1. GCP Cloud SQL 인스턴스 준비하기Cloud SQL 인스턴스 생성GCP 콘솔에서 Cloud SQL 페이지로 이동합니다.“인스턴스 생성” 버튼을 클릭한 후, 데이터베이스 유형으로 “MySQL”을 선택합니다.인스턴스 이름, 비밀번호, 지역 등을 설정한 뒤 인스턴스를 생성합니다.네트워크 설정 확인생성된 Cloud SQL 인스턴스의 “연결” 탭으로 이동합니다.“공개 IP”를 활성화하고, 연결할 클라이언트의 IP 주소를 허용 목록(Authorized Networks)에 추가합니다.본인의 IP 주소를 확인..