걸어서개발한바퀴

결론부터 말하면, 돌리기는 실패했습니다. 하지만 llama.cpp를 make하는데까지는 성공하고, 또 어떤 노력으로 돌리려고 했는지의 과정을 설명하려고 합니다. 사용 device : Nvidia Jetson Xavier NX Developer cat /proc/device-tree/model 그 전에 llama2를 로컬에서 돌리는 방법의 포스팅을 참고해서, https://walkaroundthedevelop.tistory.com/166 맥북 실리콘에서 LLAMA2 로컬에서 돌리는 방법입니다. reference : https://www.youtube.com/watch?v=TsVZJbnnaSs Repos and models 1. Request access: https://ai.meta.com/resource..

출처 : forums.developer.nvidia.com/t/cannot-enable-denver-cores-for-tx2-jetpack-4-4-dp/124708/38 Tx2를 사용하다 보면 jtop을 사용할 수 있는데, jtop이란, pc 의 상태를 확인하게 해 주는 것이고, 이 command로 설치가 가능합니다. $ sudo -H pip install -U jetson-stats 6개의 cpu중에 2개를 사용하지 않는 것을 확인할 수 있습니다. Jetson에서는 CPU의 전력제한을 풀어주는 모드가 있는데, 이를 조절하는 옵션을 nvpmodel 이라 하고, 다음과 같은 커맨드로 바꿀 수 있습니다. $ sudo nvpmodel -m 0 # 0번 모드로 설정 $ sudo nvpmodel -q –verbo..

구글에 install vscode on jetson tx2 라고 검색하면 여러가지 방법이 나온다. 그중에 가장 쉬운 건 www.jetsonhacks.com/2019/10/01/jetson-nano-visual-studio-code-python/ Jetson Nano - Visual Studio Code + Python - JetsonHacks Visual Studio Code is one of the most popular IDEs in the world. You can install VSCode on the Jetson Nano in just a few minutes! www.jetsonhacks.com 이 링크고, 세 줄이면 끝난다. $ git clone https://github.com/Jetson..

말은 Jetson을 위해서 이지만 사실 Jetson에다가 하는 것은 아니다. docker파일 위에서 돌아가야 하는 것이기 때문에, 그리고 learning 자체를 해야되는것이기 때문에, 엄청나게 강력한 머신이 필요하다. 절대 Tx2위에서 돌리려고 하지말것... 용량도 안된다.. Minimum requirement 와 recommended requirement 는 다음과 같다. 그리고 Docker위에서 돌아가고, 다음과 같은 prerequisite들이 필요하다. Nvidia GPU CLoud account and API key같은 경우 그냥 가서 등록하면 되고, docker-ce 같은 경우 docker 홈페이지 들어가서 시키는 대로 하면 된다. docs.docker.com/engine/install/ubun..