1、在用pyspark的时候,像这种udf函数一定要加上需要转换的数据类型,,不然会报错~~
def parse_label(val):
return 1/(float(val)+0.0001)
TypeError: can only concatenate str (not "float") to str
2、pyspark 如图,如果不加float,会报下面这个错误
File "/mnt/yarn/usercache/hadoop/appcache/application_1614052931500_111643/container_1614052931500_111643_01_00