걸어서개발한바퀴

  • 홈
  • 태그
  • 방명록

xavier nx 1

Jetson 에서 LLAMA2 돌리기!

결론부터 말하면, 돌리기는 실패했습니다. 하지만 llama.cpp를 make하는데까지는 성공하고, 또 어떤 노력으로 돌리려고 했는지의 과정을 설명하려고 합니다. 사용 device : Nvidia Jetson Xavier NX Developer cat /proc/device-tree/model 그 전에 llama2를 로컬에서 돌리는 방법의 포스팅을 참고해서, https://walkaroundthedevelop.tistory.com/166 맥북 실리콘에서 LLAMA2 로컬에서 돌리는 방법입니다. reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resource..

Deep Learning/NLP 2023.07.28
1
더보기

방문자수Total

  • Today :
  • Yesterday :
프로필사진

개발여행 가 봅시다~

  • 분류 전체보기 (193)
    • Audio Processing (2)
    • 알고리즘 (7)
      • 리트코드 (5)
    • Data Engineering (3)
    • Linux (16)
      • Ubuntu (13)
    • Utils (15)
      • Program (4)
      • Git (6)
    • Machine Learning (30)
      • Device (7)
      • Tensorflow (5)
      • Regression (1)
    • Python (10)
      • Concurrency (4)
      • Basics (3)
    • 환경설정 (11)
    • kaggle 및 dacon (2)
    • Web Programming (18)
      • Server (5)
      • Java Spring (11)
    • Cloud (2)
      • Docker (7)
    • Network (2)
      • protocols (1)
    • Video Processing (5)
      • Gstreamer (2)
    • Image Processing (11)
      • Cv2 (8)
    • Deep Learning (30)
      • NLP (10)
      • Computer Vision (11)
    • 잡담 (2)
    • 모바일 (1)
      • 안드로이드 (10)
      • flutter (2)
    • openai (5)
    • Data Science (2)

Tag

CNN, mac, Linux, yolov5, cv2, image classification, yolo, Android, GCP, tx2, ubuntu, jetson, 도커, Python, tensorflow, spring boot, Git, OpenCV, docker, TFlite,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

Copyright © Kakao Corp. All rights reserved.

티스토리툴바