[CUDA] PID 모를 때 GPU 프로세스 Kill 하기(sudo권한 필요 X)

 

CUDA OOM 에러로 프로세스가 종료되었을 때 할당되어있던 메모리를 릴리즈하지 못하고 그대로 가지고 있는 상황에서 GPU를 강제로 죽이는 방법을 알아보자

 

통상적으로는 nvidia-smi 명령을 통해서 PID를 확인하고 kill -9 {PID번호}를 하면 간단하게 프로세스를 죽일 수 있다. 

 

하지만 나의 경우 PID가 전혀 나오지 않는 상황이었다. 

그리고 sudo권한을 사용 할 수 없는 서버여서 sudo fuser -k /dev/nvidia3 명령어도 사용 할 수 없었다.

 

내가 선택한 방법은 ps aux명령어를 통해 현재 모든 프로세스를 조회하는 것이었다. 

ps aux

해당 명령어를 입력하면 모든 프로세스가 주르륵 나온다. 

 

아래와 같은 형식으로 나오는데 이때 PID번호와 내가 삭제하고 싶은 프로세스 명을 COMMAND를 참조하여 삭제하면 된다. 

 

USER        PID   %CPU  %MEM  VSZ  RSS  TTY  STAT  START  COMMAND
user_name  11111  17.5  xxx    xx   xx   xx   xx   xx     /opt/conda/bin/python xxx

 

삭제는 누구나 다 아는 kill 명령어를 사용하면 된다. 

kill -9 {PID}