前言

GPU环境问题

• 统一参考官网https://www.tensorflow.org/install/docker?hl=zh-cn
• 统一在linux中使用docker安装。不使用windows.
• 只需在主机上安装 NVIDIA® GPU 驱动程序，而不必安装 NVIDIA® CUDA® 工具包。（工具包cudnn和Toolkit）
• 检查docker版本

  1.请注意，随着Docker 19.03的发布，不赞成使用nvidia-docker2软件包，因为Docker运行时中现在已将NVIDIA GPU作为设备本地支持。 2.如需在 Linux 上启用 GPU 支持，请安装 NVIDIA Docker 支持。

  • 请通过 docker -v 检查 Docker 版本。对于 19.03 之前的版本，您需要使用 nvidia-docker2 和 --runtime=nvidia 标记；**对于 19.03 及之后的版本，您将需要使用 nvidia-container-toolkit 软件包和 --gpus all 标记。**这两个选项都记录在上面链接的网页上。
  • 参考官网方式进行安装 nvidia-docker https://github.com/NVIDIA/nvidia-docker

nvidia-container-toolkit 安装

centos7

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl https://nvidia.github.io/nvidia-docker/centos7/nvidia-docker.repo > /etc/yum.repos.d/nvidia-docker.repo
sudo yum install -y nvidia-container-toolkit

docker启动

docker启动tensorflow支持gpu要加上 参数 —gpus all

# Add the package repositories
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
# Test nvidia-smi with the latest official CUDA image
docker run --gpus all nvidia/cuda:10.0-base nvidia-smi
docker run --gpus all -it  tensorflow/tensorflow:latest-gpu \
   python -c "import tensorflow as tf; print(tf.reduce_sum(tf.random.normal([1000, 1000])))"

第10行会返回gpu信息：

第12～13行会返回一大堆日志，我截取最后一句，含有“gpu”字样

进入容器，用以下代码检查容器环境，查看返回信息即可：

# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras
from tensorflow.python.client import device_lib
print("tensorflow版本:",tf.__version__)
print("kears版本:",keras.__version__)
print("是否建立在cuda上：",tf.test.is_built_with_cuda())
print("""\n  *****  以下将输出环境检测日志，需要出现  device_type: "GPU" 才算成功使用GPU ***** \n""")
print(device_lib.list_local_devices())
print("""\n  *****  环境检测日志输出完毕，需要出现  device_type: "GPU" 才算成功使用GPU ***** \n""")

docker-compose 启动

参考官网https://github.com/nvidia/nvidia-container-runtime#installation
需要安装 nvidia-container-runtime

Ubuntu distributions

1. Install the repository for your distribution by following the instructions here.

2. Install the nvidia-container-runtime package:

   sudo apt-get install nvidia-container-runtime

   CentOS distributions

3. Install the repository for your distribution by following the instructions here.

4. Install the nvidia-container-runtime package:

   sudo yum install nvidia-container-runtime

   Docker Engine setup

   如果您已安装nvidia-docker2软件包，则该部分已注册运行时，请不要遵循此部分。 要注册nvidia运行时，请使用以下最适合您的环境的方法。 您可能需要将新参数与现有配置合并。

   Systemd drop-in file

   sudo mkdir -p /etc/systemd/system/docker.service.d
   sudo tee /etc/systemd/system/docker.service.d/override.conf <<EOF
   [Service]
   ExecStart=
   ExecStart=/usr/bin/dockerd --host=fd:// --add-runtime=nvidia=/usr/bin/nvidia-container-runtime
   EOF
   sudo systemctl daemon-reload
   sudo systemctl restart docker

   Daemon configuration file

   sudo tee /etc/docker/daemon.json <<EOF
   {
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
   }
   EOF
   sudo pkill -SIGHUP dockerd

   You can optionally reconfigure the default runtime by adding the following to /etc/docker/daemon.json:

   "default-runtime": "nvidia"

   最终的/etc/docker/daemon.json文件内容为：

   {
    "registry-mirrors": [
        "https://1nj0zren.mirror.aliyuncs.com",
        "https://docker.mirrors.ustc.edu.cn",
        "http://f1361db2.m.daocloud.io",
        "https://registry.docker-cn.com"
    ],
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
   }

   版本问题

   注意，docker安装的tensorflow是已经包含了keras的，因为版本足够高。导入方式
   from tensorflow import keras
   后续使用方式与单独的keras一致。

如有必要，可以先用docker装tensloflow，再进入环境装keras
pip install keras==xxxx

tensorflow搭建

docker安装tensorflow官网教程 https://www.tensorflow.org/install/docker?hl=zh-cn

下载 TensorFlow Docker 映像

官方 TensorFlow Docker 映像位于 tensorflow/tensorflow Docker Hub 代码库中。映像版本按照以下格式进行标记：

每个基本标记都有用于添加或更改功能的变体：

您可以一次使用多个变体。例如，以下命令会将 TensorFlow 版本映像下载到计算机上：
docker pull tensorflow/tensorflow # latest stable release
docker pull tensorflow/tensorflow:devel-gpu # nightly dev release w/ GPU support
docker pull tensorflow/tensorflow:latest-gpu-jupyter # latest release w/ GPU support and Jupyter
如tensorflow/tensorflow:latest-gpu-jupyter，latest是第一个表格的标记，gpu 和 jupyter是第二个表格的标记，三个标记一起使用了。

版本问题—-keras和tensorflow的版本对应关系

keras和tensorflow的版本对应关系，可参考：

@https://docs.floydhub.com/guides/environments/