问题表现:训练网络时提示下错误
Check Failed: status == CUDNN_STATUS_SUCCESS (3 vs. 0) CUDNN_STATUS_BAD_PARAM
系统环境:
- Ubuntu 14.04
- GeForce GTX TITAN X 驱动 384.90
- CUDA 8.0
- cudnn 6.0.21
由于运行 Tensorflow 1.4.0 版本时提示 libcudnn.6.so 找不到文件,因此将cudnn版本升级至6.0版本,使用 cudnn-8.0-linux-x64-v6.0.tar 解压安装,升级完成后,tensoflow执行正常,但caffe则提示 错误 CUDNN_STATUS_BAD_PARAM
问题解决:
重新安装cudnn 5.1版本,使用 cudnn-8.0-linux-x64-v5.1.tgz 解压安装,覆盖 /usr/local/cuda/lib64/ 下面的 libcudnn.so 软链接文件,但 cudnn 6.0 的库文件仍然存在
sudo tar -xzf cudnn-8.0-linux-x64-v5.1.tgz -C /usr/local
安装完成后,caffe正常执行,tensorflow也正常执行。
其它原因:
其他博客有记录
(1)“似乎是因为有其他设备在使用GPU导致的,我的情况是等待一段时间就好了。”
(2)网络配置问题,stride 设置为1则正常
(3)显卡内存不足