Young, Simple, Naive

其实都有 HIPS/autograd 血统

Troubleshooting已经在python中安装了tensorflow，并且zip包也已经提交到hdfs，运行后报错：no module named tensorflow可能是未正常使用zip包中的python，而使用了系统中其他版本的python在启动命令中加入以下选项，明确指示使用哪个python--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./Python/bin/python \--conf spark.pyspark.python=.

Use GPU on YARN环境信息hadoop-3.2.2Linux centos7 3.10.0-1160.24.1.el7.x86_64相关配置${HADOOP_HOME}/etc/hadoop/resource-types.xml <configuration> <property> <name>yarn.resource-types</name> <value>yarn.io/gpu</va

gpu 调度方案设置环境变量CUDA_VISIBLE_DEVICES$ deviceQuery |& grep ^DeviceDevice 0: "Tesla M2090"Device 1: "Tesla M2090"$ CUDA_VISIBLE_DEVICES=0 deviceQuery |& grep ^DeviceDevice 0: "Tesla M2090"如果这一步没有生效，再尝试设置os.environ["CUDA_DEVICE_ORDER"] = "PCI_B