Nvidia GPU加速框架Tensorrt

Install Cuda/Cudnn/python3&Venv

install cuda  # nvcc --version
copy cudnn to cuda path
install python

# install offical specified virtualenv
python -m install env

python -m venv .trtEnv # create venv
python -m pip install tensorrt  # 避免使用系统 pip
python -m pip install cuda-python  # 避免使用系统 pip

# 进入虚拟环境，退出环境
.trtEnv\Scripts\activate
deactivate

# 导出依赖到 requirements.txt
pip freeze > requirements.txt

# 从 requirements.txt 安装依赖
pip install -r requirements.txt

rd /s /q .venv # remove env

TensorRT

# from cuda import tensorrt // 在后续的版本会遗弃掉，使用下面runtime来替代
from cuda.bindings import runtime
runtime.cudaMalloc()
runtime.cudaMemcpy(buffer[name][1], buffer[name][0].ctypes.data, buffer[name][2], runtime.cudaMemcpyKind.cudaMemcpyHostToDevice)
runtime.cudaFree(device_buffer)