SD Card에 JetPack 설치가 끝나면... Jetson Nano 에... card를 설치하자...

설치후 처음 부팅을 하면.... Ubuntu 18.04 초기 설정 화면이 나온다.. Nvidia 라이센스 수락을 해주면...

기본적인 Ubuntu 18.04 초기 설정 단계를 진행 하면 된다..

처음엔.. 시스템 언어 설정... 영어로 설정.. 

두번째로 네트워크 설정... 사용중인 Wifi 신호가 있으면.. 이때... 사용하는 SSID 값을 선택해준뒤.. 그에 맞는 비밀번호를 입력한뒤 다음단계로...

타임존 선택?? 위치 선택?? Seoul 을 선택!!!

User ID와.. Password를... 설정해준뒤.. 다음으로...

남은 메모리 공간을 App Partition으로 설정... 

Nvpmodel mode는 성능 제한 설정으로.. 2가지 Power 모드로 설정이 가능하다..

MAXN 모드는 10W 모드로.. 5V/4A의 아답터를 사용할때 사용하는 모드로.. 최고 성능을 발휘해준다..

5W 모드는 Micro USB (5V/2A)의 전원을 공급받을때 사용하는 모드이다.. J48점퍼스위치를 제거해주면 사용이 가능하다.

모든 설정이 끝나면.. 설정에 맞춰 자동으로 셋팅.. 마무리 해준다..  설치가 마무리 되면.. 드디어.. 로그인 화면을 만나볼수 있다.

로그인을 하면.. Nvidia 로고와 함께.. 부팅 완료!!

제일 처음은 좌측 독에 보면.. 소프트웨어 업데이트 부터 해보자... 

패스워드 입력해주면.. 알아서 업데이트 시작!!

업데이트가 끝나면.. 재부팅 해주자.. Restart Now!!

터미널 창을 열고 나서.. 이번엔... 

$ sudo apt-get update -y

입력해주자..

비밀번호 입력해주면.. update 작업이 진행된다...

update 작업이 완료되면.. 마지막으로 upgrade 작업을 해주면 초기 셋팅이 마무리 된다.

터미널창에 

$ sudo apt-get upgrade -y

입력해주자..

이로써 초기 설정이 마무리 되었다....

NVIDIA Jetson Nano Developer Kit  준비가 되었으면 JetPack 을 설치해보자...

 

우선 최신 JetPack을 다운받자...

 

https://developer.nvidia.com/embedded/jetpack

 

JetPack SDK

NVIDIA JetPack SDK is the most comprehensive solution for building end-to-end accelerated AI applications. All Jetson modules and developer kits are supported by JetPack SDK.

developer.nvidia.com

으로 이동해서 본인이 가지고 있는 Jetson Nano 모델에 맞는 SD Card Image를 다운받는다...

이 글을 정리하는 2022년 3월 26일 기준으로 현재 최신 JetPack은 4.6.1 버전이다...

 

다운로드가 완료 되었다면... 

https://www.balena.io/etcher/

 

balena - The complete IoT fleet management platform

Infrastructure and tools to develop, deploy, and manage connected devices at scale. Your first ten devices are always free.

www.balena.io

로 이동하여 본인 컴퓨터 OS에 맞는 버전의 balenaEtcher를 다운받아 설치 한다..

 

설치가 끝났으면... balenaEtcher를 실행해보자....

그리고 jetpack를 설치할... SD카드를... PC에 연결하면.. SD카드의 현재 파티션 종류에 따라 카드 인식은 되지만 경고 메세지가 뜨는 경우도 있다.. 인식만 되면.. 경고따위... 무시해주자..

balenaEtcher 초기화면이다...

Flash from file 메뉴 버튼을 눌러서 다운받은 JetPack SD Card 이미지를 선택해주자..

그런다음 다음단계는... 해당 Jetpack을 풀어서 설치해줄... SD카드 가 연결되어 있는 드라이브를 선택해주는 단계이다..

드라이브 선택 단계가 끝나면... Flash 버튼을 눌러서 설치 시작!!!!

이미지를 굽는 단계와 잘 구워졌는지 확인하는 단계가 끝나면.. SD카드로 JetPack을 설치하는 과정은 끝!!!

설치가 마무리 되었으면 Jetson Nano의 SD카드 슬롯에 장착해주자...!!

 

 

 

다나와 사이트에서 Micro SD 메모리를 검색해보면 제일 처음 확인가능한 검색 옵션....

 

http://prod.danawa.com/list/?cate=12237621&searchOption=/innerSearchKeyword= 

 

마이크로SD : 다나와 가격비교

태블릿/모바일/디카>메모리카드/리더기>마이크로SD 가격비교 리스트 입니다. 다나와의 가격비교 서비스로 한눈에 비교하고 저렴하게 구매하세요.

prod.danawa.com

여기 옵션 내용을 확인해보면.... 우선 속도타입에 마우스 오버 하면.. 확인가능한 정보...

속도 측면에서 볼때... 최고로 빠른 속도를 지원하는 모델을 선택하려면 해당 옵션에서 UHS-II(U3) > UHS-I(U3) > UHS-I(U1) 순이다..

그러나 검색해보면 알겠지만... 현재 UHS-II(U3) 속도를 지원하는 최고 용량은 256Gb, UHS-I(U3), UHS-I(U1) 속도를 지원 하는 최고 용량은 1Tb 이다.

 

두번째 옵션인 영상 쓰기 속도 옵션을 살펴보면...

위 내용을 보면 쉽게 이해가 가능하다. V90 에 가까울수록... 쓰기속도가 빠름을 확인할 수 있다.

 

다음 옵션을 저장방식...은...

즉... SLC > MLC > TLC 순으로 더 좋지만.. 그만큼 가격이 상승하게 된다. 그러나.. 옵션에 SLC 옵션이 없다는것을 보면... Micro SD 를 SLC 방식으로 제작하기 힘들다는것이 예상된다.

검색해보면 MLC 저장방식으로 구매 가능한 최고 용량은 256G 이며 기본적으로 128G 모델이 보편적이며 TLC 방식이 주류를 이루는것이 확인가능하다...

 

마지막 옵션 고사양 앱 구동 옵션을 살펴보자.

위 내용을 확인해보면...  고사양 앱 구동 옵션은 A2 > A1  순이다...

 

최근 프로젝트를 진행 하면서 구입한 메모리와 실습용으로 제공받은 메모리를 비교해보면...

실습용으로 제공받은 메모리는 UHS-I(U1)이며 프로젝트용으로 구매한 메모리는 UHS-I(U3) 로 프로젝트용으로 구매한 메모리의 속도가 빠름을 확인할수 있으며 제공된 읽기 쓰기 속도를 비교해도 실습용은 쓰기속도는 제공되지 않으며 읽기속도 95MB/s 프로젝트용은 읽기속도 170MB/s, 쓰기속도 90MB/s 로 속도차이가 많이 난다.. 또한 프로젝트용은 고사양앱구동(A2) 옵션을 만족한다.

같은 작업을 해도 읽기 쓰기 속도차이로 차이가 2배 이상 생길 가능성이 많다.

 

마지막으로 최근 구매한 메모리의 사양을 확인해보며 비교를 마무리 하겠다.

비교해보면 프로젝트용으로 구매 했던 메모리와 읽기 속도는 비슷 하며 쓰기속도는 더 빠르다.. UHS-I(U3) 만으로도 속도가 빠름을 확인할수 있으며. 고사양앱구동(A2)를 만족하기 때문에... 한동은... 몇년???? 사용하는데 답답하지 않을것 같다...

Jetson Nano 를 이용한 Object Detection으로 당연히 YOLO를 떠올렸으며 구글링을 통해서 먼저 이길을 가시면서 친절하게 방법과 입력코드를 남겨주신대로 진행을 해봤으나 YOLO신의 버림을 받아서인지... 샘플 이미지를 통한 결과는 정상적으로 출력이 되지만 pi camera를 이용한 실시간 Detection 은 실패를 하였다. (이상하게 카메라 영상을 보여주는 창이 온통 초록색으로 꽉찬 상황 ㅠ.ㅠ)

 

그래서 다른 방법이 없는지 찾게 되었고 YOLO v5 를 시도했던 시간의 거의 1/3 정도만으로 생각보다 훌륭한 결과를 얻을수 있었던 내용을 공유해본다. 

 

해당내용의 출처는  NVIDIA Developer 채널에서 아래 주소의 Youtube 영상을 시작으로 얻을수 있었으며 

https://youtu.be/bcM5AQSAzUY

소개 페이지는 

https://developer.nvidia.com/blog/realtime-object-detection-in-10-lines-of-python-on-jetson-nano/

 

Real-Time Object Detection in 10 Lines of Python on Jetson Nano | NVIDIA Developer Blog

To help you get up-and-running with deep learning and inference on NVIDIA’s Jetson platform, today we are releasing a new video series named Hello AI World to help you get started.

developer.nvidia.com

github 자료는 아래와 같다.

 

https://github.com/dusty-nv/jetson-inference

 

GitHub - dusty-nv/jetson-inference: Hello AI World guide to deploying deep-learning inference networks and deep vision primitive

Hello AI World guide to deploying deep-learning inference networks and deep vision primitives with TensorRT and NVIDIA Jetson. - GitHub - dusty-nv/jetson-inference: Hello AI World guide to deployin...

github.com

Dustin Franklin 님(?)의 소개대로 진행을 한단계씩 밟아 나가다 보니.. 어느새 카메라를 통해서 실시간 Detection 되는 결과를 볼수 있었으며... jetson nano를 이용한 뭔가 첫 결과물(?)을 확인할수 있었던 내용이었다. 

 

시작은 설치되어 있는 패키지들의 새로운 버전이 있는지 확인 부터... 

$ sudo apt-get update -y

설치된 패키지들의 최신버전에 따라 업그레이드두 GoGo...

$ sudo apt-get upgrade -y

다음단계는 필요한 패키지 설치~

$ sudo apt-get install git make libpython3-dev python3-numpy -y

git clone 으로 간단히 가져오기~~

$ git clone --recursive https://github.com/dusty-nv/jetson-inference

 

$ cd jetson-inference/

$ mkdir build

$ cd build

$ cmake ../

까지 진행하면 모델을 다운로드 받을수 있는 창이 뜬다...

짜란~~~ Hello AI World   - Model Downloader

 

여기서 다운로드 받을수 있는 모델은 아래와 같다. (2021년 11월 19일 기준)

  • Image Recognition - all models
    • AlexNet
    • GoogleNet
    • GoogleNet -12
    • ResNet-18
    • ResNet-50
    • ResNet-101
    • ResNet-152
    • VGG-16
    • VGG-19
    • Inception-v4
  • Object Detection - all models
    • SDD-Mobilenet-v1
    • SDD-Mobilenet-v2
    • SDD-Mobilenet-v3
    • PedNet
    • Multipad
    • FaceNet
    • DetectNet-COCO-DOG
    • DetectNet-COCO-Bottle
    • DetectNet-COCO-chair
    • DetectNet-COCO-airPlane
  • Mono Depth - all models
    • ModoDepth-FCN-Mobilenet
    • ModoDepth-FCN-ResNet18
    • ModoDepth-FCN-ResNet50
  •   Pose Estimation - all models
    • Pose-ResNet18-Body
    • Pose-ResNet18-Hand
    • Pose-DenseNet121-Body
  • Semantic Segmentation - all
    •  FCN-ResNet18-Cityscapes-512x256
    • FCN-ResNet18-Cityscapes-1024x512
    • FCN-ResNet18-Cityscapes-2048x1024
    • FCN-ResNet18-DeepScence-576x320
    • FCN-ResNet18-DeepScence-864x480
    • FCN-ResNet18-MHP- 512x320
    • FCN-ResNet18-MHP-640x360
    • FCN-ResNet18-Pascal-VOC-320x320
    • FCN-ResNet18-Pascal-VOC-512x320
    • FCN-ResNet18-SUN-RGBD-512x480
    • ResNet18-SUN-RGBD-640x512
  • Semantic Segmentation - legacy
    • FCN-Alexnet-Cityscapes-SD
    • FCN-Alexnet-Cityscapes-HD
    • FCN-Alexnet-Aerial-FPV
    • FCN-Alexnet-Pascal-VOC
    • FCN-Alexnet-Synthia-CVPR
    • FCN-Alexnet-Synthia-Summer-SD
    • FCN-Alexnet-Synthia-Summer-HD
  • Image Processing - all models
    • Deep-Homography-COCO
    • SUper-Resolution-BSD500

  이중에서 필요한 모델을 선택해서 <OK> 또는 Enter 키를 눌러주면... 막 신나게.. 설치해준다..

설치가 끝나면 바로 PyTorch Installer 화면이 뜨는데... 영상에서는 이부분은 Skip 처리 해줬다.. PyTorch 설치가 필요하신분은 이곳에서 설치도 선택하면 설치해준다...

 

저의 경우는 어차피 처음 테스트 시도 였으며 언젠가 쓰지 않겠어? 안쓰면 말구... jetson nano 에서는 PyTorch를 마니마니 쓴데... 를 들어와서... 그냥 설치했다...

 

그 다음단계는 make 설치... 

make 에 대해서 찾아보니 프로그램 그룹을 유지하는데 필요한 유틸리티로 make유틸리티의 목적은 프로그램 그룹 중에서 어느 부분이 새롭게 컴파일되어야 하는지를 자동적으로 판단해서 필요한 커맨드(gcc따위)를 이용해서 그들을 재컴파일 시킨다고 한다..

 

여튼 필요한가보다.. 설치 GoGo

$ make

시간이 좀 걸린다... 설치 걸어놓구 다른 업무 보기 딱 좋다...

$ sudo make install

하면 이제 거의 끝이 보이는....

공유 라이브러리 캐시를 다시 설정하고..

$ sudo ldconfig

aarch64/bin 으로 이동해서 확인해보면...

$ cd aarch64/bin
$ ls

설치가 되어있는 내용을 확인할 수 있다.

이제 테스트 이미지를 이용해서 테스트 해보자..

$ ./detectnet-console.py images/peds_0.jpg output_0.jpg

결과값을 확인할수 있었다..

pi-camera를 이용해서 실시간 디텍션이 가능하다.

연결한  카메라가 잘 작동하는지 먼제 체크해보자..

$ gst-launch-1.0 nvarguscamerasrc ! nvoverlaysink

 

마지막으로.. text editer 를 열어서 my-detection.py 파일명을 home 에 save as 한뒤.... 다음 코드를 입력 저장한다..

import jetson.inference
import jetson.utils

net = jetson.inference.detectNet("ssd-mobilenet-v2", threshold=0.5)
camera = jetson.utils.videoSource("csi://0")      # '/dev/video0' for V4L2
display = jetson.utils.videoOutput("display://0") # 'my_video.mp4' for file

while display.IsStreaming():
	img = camera.Capture()
	detections = net.Detect(img)
	display.Render(img)
	display.SetStatus("Object Detection | Network {:.0f} FPS".format(net.GetNetworkFPS()))

 

저장했으면... 마지막 리얼타임 디텍팅이 되는지 테스트 해보자...

 

만약을 위해.. 파일도 공유 해본다..

my-detection.py.zip
0.00MB

위 코드의 경우... CSI 카메라를 이용할때적용되는 코드이다.. USB카메라의 경우(V4L2) 코드를 수정해주자...

 

우선 V4L2 드라이버를 설치해주고....

$ sudo apt-get install v4l-utils

연결된 USB 카메라의 디바이스 번호를 확인하는 방법은....

$ v4l2-ctl --list-devices

하여 디바이스 번호를 확인하자...

 

아래 코드는 같이 스터디를 진행한 오휴민님 께서 수정 정리해주신 코드다.. 깔끔하다...

import jetson.inference
import jetson.utils

net = jetson.inference.detectNet("ssd-mobilenet-v2", threshold=0.5)

camera = jetson.utils.gstCamera(1280, 720, "/dev/video0")	# USB camera ONLY
# camera = jetson.utils.gstCamera(1280, 720, "/dev/video1")	# CSI camera + USB camera
#camera = jetson.utils.videoSource("csi://0")			# CSI camera ONLY
display = jetson.utils.glDisplay()				# USB camera ONLY
#display = jetson.utils.videoOutput("display://0")		# CSI camera ONLY

### USB camera ###
while display.IsOpen():
	img, width, height = camera.CaptureRGBA()
	detections = net.Detect(img, width, height)
	display.RenderOnce(img, width, height)
	display.SetTitle("Object Detection | Network {:.0f} FPS".format(net.GetNetworkFPS()))

### CSI camera ###
#while display.IsStreaming():
#	img = camera.Capture()
#	detections = net.Detect(img)
#	display.Render(img)
#	display.SetStatus("Object Detection | Network {:.0f} FPS".format(net.GetNetworkFPS()))

my-detection.zip
0.00MB

마지막으로....

$ cd ~

로 이동한뒤... 

$ python3 my-detection.py

하면 실시간 디텍딩 퇴는것을 확인할 수 있다.

 

 

jetson nano는 Nvidia Jetson 디바이스 중 가장 작은 크기의 모듈로 lite 버전에 해당하는 2G 버전과 기본 4G 버전 두제품으로 구성되어 있다.

 

4G 모듈의 기준으로 제품 스펙은 아래와 같다.

 

GPU 128-core Maxwell
CPU Quad-core ARM® Cortex-A57 @ 1.43 GHz
Memory 4 GB 64-bit LPDDR4 25.6 GB/s
Storage 16GB eMMC
Video decode 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265)
Video encode 4K @ 60 | 2x 4K @ 30 | 8x 1080p @ 30 | 18x 720p @ 30| (H.264/H.265)
Deployment Module (SO-DIMM), 260 pin connectort
Camera 1x MIPI CSI-2 DPHY lanes
Connectivity Gigabit Ethernet, M.2 Key E, PCIe x4
Display MIPI-DSI x2, HDMI, DP, eDP
USB 1x USB 3.0, 3 x USB 2.0
Others GPIO, 4 x I2C, 2 x I2S, 2 x SPI, 2 x UART, 1 x SDMMC
Mechanical 69.5mm x 45mm

처음 젯슨나노를 사용하기 위해서는 JetPack과 ubuntu OS가  포함되어 있는 SD카드 이미지를 다운로드 받아서 설치해야 한다.

 

사용용도 방법에 따라 SD카드 이미지는 여러종류가 있으므로 Jetson nano를 이용할 방법에 맞는 이미지를 찾아서 다운로드하기 바란다.

 

기본적인 방법은 최신버전을 제공하는 Jetson Download Center에서 Jetson Nano Developer Kit SD Card Image를 다운로드 하는게 좋다.

 

https://developer.nvidia.com/embedded/downloads

 

Jetson Download Center

Get downloadable documentation, software, and other resources for the NVIDIA Jetson ecosystem.

developer.nvidia.com

 

Jetbot 을 이용하기 위해서는 아래 링크를 참조하기 바란다.

 

https://www.nvidia.com/ko-kr/autonomous-machines/embedded-systems/jetbot-ai-robot-kit/

 

NVIDIA JetBot 파트너의 AI Robot 키트

오픈 소스 AI 로봇 플랫폼은 창의적이며 재미있는 스마트 AI 애플리케이션을 제작하는 데 필요한 모든 것을 제공합니다.

www.nvidia.com

https://jetbot.org/master/index.html

 

Home - JetBot

JetBot JetBot is an open-source robot based on NVIDIA Jetson Nano. You'll like it because... It's Affordable JetBot costs less than $250 in parts, including Jetson Nano. The DIY kit includes a bill of materials which you must purchase and a 3D printed chas

jetbot.org

 

대표적으로 많이 사용중인 Jetbot 모델은 WaveShare JetBot Kit 이며

https://www.waveshare.com/wiki/JetBot_AI_Kit

 

JetBot AI Kit - Waveshare Wiki

Introduction This is an AI Robot kit based on Jetson Nano Developer Kit. Supports facial recognition, object tracking, auto line following or collision avoidance and so on. User Guides 1. Install Image 【Note】 The software part of this guide mostly base

www.waveshare.com

이곳에서 SD 카드 이미지를 다운받을수 있다.

 

Jetson Nano 시작준비를 하면서 느낀점은 기본적으로 컴퓨터의 메인보드에 해당하는 모듈에서 CPU와 GPU, 메모리 등을 업그레이드 하는 방법은 상위 모델인 TX2 모듈 이상을 이용하는 방법이다. 사용자 측에서 성능을 올릴수 있는 방법은 SSD에 해당하는 SD카드의 읽기 쓰기 속도를 확인하고 빠른 제품을 선택하는것이 유리하다. 제품을 검색할때 속도타입에서 UHS-I(U3), UHS-II(U3) 옵션을 선택한뒤 나오는 제품들을 살펴보면 읽기 쓰기 속도가 확인가능하며 고사양앱구동(A1), 고사양앱구동(A2) 옵션이 포함되어있는지를 꼭 확인하는것이 좋다.

+ Recent posts