Welcome to Jaehai.Opslog
안녕하세요! 넓은 스펙트럼을 바탕으로 전체적인 그림을 보는 Ops Engineer 이재하입니다.
이번 글에서는 사내 서버에서 시도때도 없이 발생했던 nvidia driver version mismatch 에러에 대해 다뤄보고자 합니다.
해당 글의 목적은 nvidia 에러를 해결하는 것이 아닌 unattended-upgrade 시 패키지가 자동으로 업데이트 되는 것을 막는 것에 대한 글이므로 원인 파악을 하는 방법을 포함하지 않습니다.
nvidia 에러는 cmaven님의 블로그를 보고 해결하였으며, 해당 글 또한 원본 글을 참고했습니다. 현업에서 고생할 때 이 문제를 해결할 수 있도록 해주신 cmaven님께 먼저 감사 인사를 드립니다. 자세한 문제 확인 방법을 확인하고 싶으시거나 원본 블로그 글이 보고 싶으시다면 https://cmaven.github.io/linux/nvidia-smi-error-version/ 글을 확인해주세요.
1. 환경
-
nvidia GPU n개가 장착된 Ubuntu Server
-
nvidia-smi 명령어 실행 시 아래 에러 발생
$ nvidia-smi Failed to initalize NVML: Driver/library version mismatch
2. 원인
nvidia driver apt 패키지를 hold 했음에도 불구하고 unattended-upgrade(보안 업그레이드)가 진행되면서 nvidia 드라이버 또한 업데이트 되어 커널과 클라이언트 모듈 버전 차이가 발생했습니다.
