GPU (3) 썸네일형 리스트형 nvtop : GPU 사용중인 사용자, 프로세스 확인하기 nvtop nvtop 명령어를 입력하면 서버에서 GPU를 사용중인 사용자와 프로세스를 확인할 수 있다. 실행이 안된다면 sudo apt install nvtop을 통해 설치해야한다. 일반적으로 nvidia-smi를 통해 확인하는 경우가 많지만 nvtop이 더 직관적이라고 생각된다. 주로 확인해야할 것은 PID, DEV, GPU, GPU MEM이다. PID는 실행중인 프로세스의 ID이다. DEV는 device의 약자로 몇 번 GPU를 사용중인지 알려준다. GPU는 현재 GPU가 100%중 몇 %로 성능을 쓰고 있는지 알려준다. GPU MEM은 전체 GPU memory중에 얼마나 점유하고 있는지 알려준다. GPU MEM은 많이 여유가 있는데 GPU는 성능이 100%에 가까울 때가 있다. memory 크기가 .. 모델 학습중 프로세스 종료 (ctrl+c, ctrl+z) 지금까지 별 생각없이 local에서 하던 것 처럼 ctrl+z로 프로그램을 종료하고 있었다. 그런데 종료를 했다고 생각했는데 nvidia-smi로 확인해보면 계속 메모리를 차지하고 있는 것 같았다. 알고보니 ctrl+c는 실행중인 프로세스를 종료하는 것이고 ctrl+z는 실행을 중단하고 백그라운드로 돌아가는 명령어였다. 만약 ctrl+z로 중단한 프로그램을 다시 실행하고 싶으면 fg % [num]을 실행해야한다. num은 ctrl+z로 중단시키면 밑에처럼 뜬다. 기본적인 내용이지만 보통 서버를 같이 쓰기 때문에 나처럼 계속 중단시키고 있었다면 다른 이용자들에게 큰 피해가 간다.. 앞으로는 꼭 ctrl+c로 중단시키도록 하자. nvidia-smi로 서버의 현재 GPU 사용량 확인하기 서버에 접속하여 GPU를 사용해야 하는데 다른 사람이 이미 GPU를 사용하고 있다면 RuntimeError가 뜨는 경우가 꽤 있다. 이럴때 nvidia-smi 명령어를 이용하면 서버의 현재 GPU 사용량을 확인 할 수 있다. nvidia-smi 명령어를 사용하면 여러 정보가 출력되는데 그 중 Memory-Usage를 확인하면 된다. 내가 현재 사용하는 서버의 경우 GPU는 총 4개인데 현재 0번 GPU가 사용중이니 1,2,3번 GPU를 사용하면 된다. 이전 1 다음
