python dataframe 求某列是前几列和_Python开发小需求之excel各种操作

版本：python3.6

依赖包
pandas
numpy
re

import pandas as pd
data = [["TAM和TRA整合模型下移动xxxx支付工具xxxx使用意愿研究",["辛彬","洋鸿"],["重庆工程""韩国国民","韩国大田"],"山西农经",["TAM","TRA","移动支付"],"F724;F832"],
["关于当前xxxx网络支付的思考及sssss应用创xx新建议",["徐亮"],["江西景德镇农商银行"],"中国商论",["支付方式","思考","应用创新","建议"],"F724,F832"],
["xxxx新冠肺炎xxxx疫情与xxxx消费",["臧恒","陈开"],["山东师范","山东大学"],"消费经济",["消费支出","移动支付","中国居民消费"],"F724"]]  # excel 表数据
cols = ["Title","Author","Organ","Source","Keyword","CLC-中图分类号"]  # 表头
indexs = [3,5,7]  # 行号  注意行号不是连续的
df = pd.DataFrame(data, columns=cols,index=indexs)  # 模拟读取excel表生成 DataFrame对象

col_list = df.columns.tolist()  # 获取所有列名
# col_list = ['Title', 'Author', 'Organ', 'Source', 'Keyword', 'CLC-中图分类号']

need_cols = ['Title', 'Author', 'Organ', 'Source', 'CLC-中图分类号']  # 这是需要的列名
my_new_headers = [need_col for need_col in need_cols  if need_col in col_list]  # 使用列表生成式获取到原始数据存在的列表名

my_new_df = df[my_new_headers].fillna("")

my_new_df["merge_data"] = pd.Series(["" for _ in range(df.shape[0])], index=df.index).map(str)  # 实例化一个 my_new_df列当前列为空
kong = pd.Series([" " for _ in range(df.shape[0])], index=df.index).map(str)  # 每一列中间用空格填充
for my_new_header in my_new_headers:
    if my_new_header in ["Author", "Organ"]:  # 因为每一列是什么数据类型都是可以确定的 Author与Organ确定为 list
        type_list = my_new_df[my_new_header].apply(lambda cell: ",".join(cell)).map(str)  # 将这一列每个值按 逗号拆分
        my_new_df["merge_data"] = my_new_df["merge_data"] + kong + type_list
    elif my_new_header in  ["Title", "Source", "CLC-中图分类号"]:
        type_str = my_new_df[my_new_header].map(str)
        my_new_df["merge_data"] = my_new_df["merge_data"] + kong + type_str

import re
china_or_english_re = re.compile(r"[ ,:~({[)}]]", re.I)  # 中英文边界分割 [还存在着问题]
space_re = re.compile(r" ", re.I)  # 按照空格分割
character_re = re.compile(r"[ ,/~`})][({;]", re.I)  # 按照某些特殊字符分割
check_res = [space_re, china_or_english_re, character_re]   # 由粗粒度向细粒度分割

import numpy as np
concat_df_list = []  # 用于存储 DataFrame 对象
for check in check_res:  # 循环正则表达式对merge_data列进行拆解 将每个拆解的数据生成一个 DataFrame
    # 对 merge_data 列每一格 进行正则匹配，虽然没办法知道每一格会被拆成多少列，但是可以记录到每个格是属于哪一行的
    newdf = pd.DataFrame(my_new_df["merge_data"].apply(lambda cell: list(set(check.split(cell)))).tolist(), index=df.index)  # 使用set进行去重处理
    newdf = newdf.replace("", np.nan)  # 将每个孔空格用 nan 填充
    concat_df_list.append(newdf)

concat_df = pd.concat(concat_df_list, axis=1, ignore_index=True)

if "Title" in df.columns.tolist():
    concat_df.insert(0, "Title", df["Title"].tolist())

data = [
    [1,3,1,3,4,5,1,2,1,4,1,5,1,5,6,1,3,1,5,1,6,1,6,4,1],
    [9,5,3,7,6,5,8,2,1,4,1,5,1,5,6,1,3,1,5,1,6,1,9,8,7],
    [3,4,6,7,8,9,0,2,4,4,1,5,1,5,6,1,3,1,5,1,6,1,1,7,1]
]
df_int = pd.DataFrame(data, index=indexs)

four_index = df_int.apply(lambda cell: cell.tolist().index(4) if 4 in cell.tolist() else 0, axis=1)

concat_df.columns = range(len(concat_df.columns.tolist()))

value_data = [concat_df.iloc[i, j] for i, j in enumerate(four_index)]