【PaddleOCR】基于python的PP-ChatOCRv4快速运行教程，预测流程中API参数说明

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN人工智能领域的优质创作者，提供AI相关的技术咨询、项目开发和个性化解决方案等服务，如有需要请站内私信或者联系任意文章底部的的VX名片（ID：xf982831907）

💬 博主粉丝群介绍：① 群内初中生、高中生、本科生、研究生、博士生遍布，可互相学习，交流困惑。② 热榜top10的常客也在群里，也有数不清的万粉大佬，可以交流写作技巧，上榜经验，涨粉秘籍。③ 群内也有职场精英，大厂大佬，可交流技术、面试、找工作的经验。④ 进群免费赠送写作秘籍一份，助你由写作小白晋升为创作大佬。⑤ 进群赠送CSDN评论防封脚本，送真活跃粉丝，助你提升文章热度。有兴趣的加文末联系方式，备注自己的CSDN昵称，拉你进群，互相学习共同进步。

  PP-ChatOCRv4 是一款强大且易用的文档图像智能分析工具，能够帮助用户快速准确地抽取文档中的关键信息，包括文字、表格、印章等多种内容。本文将详细介绍如何快速上手 PP-ChatOCRv4，包括环境准备、命令行和 Python 脚本两种使用方式。

一、环境准备

  在本地使用 PP-ChatOCRv4 产线前，请确保您已经按照安装教程完成了 wheel 包安装。如果在执行过程中遇到程序失去响应、程序异常退出、内存资源耗尽、推理速度极慢等问题，请尝试参考文档调整配置，例如关闭不需要使用的功能或使用更轻量的模型。

  在进行模型推理之前，首先需要准备大语言模型的 API key。PP-ChatOCRv4 支持在百度云千帆平台或者本地部署的标准 OpenAI 接口大模型服务。如果使用百度云千帆平台，可以参考认证鉴权获取 API key。如果使用本地部署的大模型服务，可以参考 PaddleNLP 大模型部署文档进行大模型部署对话接口部署和向量化接口部署，并填写对应的 base_url 和 API key 即可。如果需要使用多模态大模型进行数据融合，可以参考 PaddleMIX 模型文档中的 OpenAI 服务部署进行多模态大模型部署，并填写对应的 base_url 和 API key 即可。

  注：如果因本地环境限制无法在本地部署多模态大模型，可以将代码中的含有“mllm”变量的行注释掉，仅使用大语言模型完成信息抽取。

二、命令行方式体验

  命令行方式是为了快速体验查看效果，使用一行命令即可快速体验产线效果：

paddleocr pp_chatocrv4_doc -i vehicle_certificate-1.png -k 驾驶室准乘人数 --qianfan_api_key your_api_key

2.1 通过 --invoke_mllm 和 --pp_docbee_base_url 使用多模态大模型

paddleocr pp_chatocrv4_doc -i vehicle_certificate-1.png -k 驾驶室准乘人数 --qianfan_api_key your_api_key --invoke_mllm True --pp_docbee_base_url http://127.0.0.1:8080/

  命令行支持更多参数设置，以下是命令行参数的详细说明：

三、Python脚本方式集成

  命令行方式是为了快速体验查看效果，一般来说，在项目中，往往需要通过代码集成，可以下载 测试文件，使用如下示例代码进行推理：

from paddleocr import PPChatOCRv4Doc

chat_bot_config = {
    "module_name": "chat_bot",
    "model_name": "ernie-3.5-8k",
    "base_url": "https://qianfan.baidubce.com/v2",
    "api_type": "openai",
    "api_key": "api_key",  # your api_key
}

retriever_config = {
    "module_name": "retriever",
    "model_name": "embedding-v1",
    "base_url": "https://qianfan.baidubce.com/v2",
    "api_type": "qianfan",
    "api_key": "api_key",  # your api_key
}

mllm_chat_bot_config = {
    "module_name": "chat_bot",
    "model_name": "PP-DocBee2",
    "base_url": "http://127.0.0.1:8080/",  # your local mllm service url
    "api_type": "openai",
    "api_key": "api_key",  # your api_key
}

pipeline = PPChatOCRv4Doc()

visual_predict_res = pipeline.visual_predict(
    input="vehicle_certificate-1.png",
    use_doc_orientation_classify=False,
    use_doc_unwarping=False,
    use_common_ocr=True,
    use_seal_recognition=True,
    use_table_recognition=True,
)

visual_info_list = []
for res in visual_predict_res:
    visual_info_list.append(res["visual_info"])
    layout_parsing_result = res["layout_parsing_result"]

vector_info = pipeline.build_vector(
    visual_info_list, flag_save_bytes_vector=True, retriever_config=retriever_config
)
mllm_predict_res = pipeline.mllm_pred(
    input="vehicle_certificate-1.png",
    key_list=["驾驶室准乘人数"],
    mllm_chat_bot_config=mllm_chat_bot_config,
)
mllm_predict_info = mllm_predict_res["mllm_res"]
chat_result = pipeline.chat(
    key_list=["驾驶室准乘人数"],
    visual_info=visual_info_list,
    vector_info=vector_info,
    mllm_predict_info=mllm_predict_info,
    chat_bot_config=chat_bot_config,
    retriever_config=retriever_config,
)
print(chat_result)

  PP-ChatOCRv4 预测的流程、API说明、产出说明如下：

（1）调用 PPChatOCRv4Doc 实例化PP-ChatOCRv4产线对象。

（2）调用 PP-ChatOCRv4 产线对象的 visual_predict() 方法获取视觉预测结果，该方法会返回一个结果列表。另外，产线还提供了 visual_predict_iter() 方法。两者在参数接受和结果返回方面是完全一致的，区别在于 visual_predict_iter() 返回的是一个 generator，能够逐步处理和获取预测结果，适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。以下是 visual_predict() 方法的参数及其说明：

  （3）对视觉预测结果进行处理。

  每个样本的预测结果均为 dict 类型，包含 visual_info 和 layout_parsing_result 两个字段。通过 visual_info 得到视觉信息（包含 normal_text_dict、table_text_list、table_html_list 等信息），并将每个样本的信息放到 visual_info_list 列表中，该列表的内容会在之后送入大语言模型中。 当然，您也可以通过 layout_parsing_result 获取版面解析的结果，该结果包含文件或图片中包含的表格、文字、图片等内容，且支持打印、保存为图片、保存为json文件的操作:

for res in visual_predict_res:
    visual_info_list.append(res["visual_info"])
    layout_parsing_result = res["layout_parsing_result"]
    layout_parsing_result.print()
    layout_parsing_result.save_to_img("./output")
    layout_parsing_result.save_to_json("./output")
    layout_parsing_result.save_to_xlsx("./output")
    layout_parsing_result.save_to_html("./output")

• 调用print() 方法会将结果打印到终端，打印到终端的内容解释如下： - input_path: (str) 待预测图像的输入路径 - page_index: (Union[int, None]) 如果输入是PDF文件，则表示当前是PDF的第几页，否则为 None - model_settings: (Dict[str, bool]) 配置产线所需的模型参数 - use_doc_preprocessor: (bool) 控制是否启用文档预处理子产线 - use_seal_recognition: (bool) 控制是否启用印章文本识别子产线 - use_table_recognition: (bool) 控制是否启用表格识别子产线 - use_formula_recognition: (bool) 控制是否启用公式识别子产线 - parsing_res_list: (List[Dict]) 解析结果的列表，每个元素为一个dict，列表顺序为解析后的阅读顺序。 - block_bbox: (np.ndarray) 版面区域的边界框。 - block_label: (str) 版面区域的标签，例如text, table等。 - block_content: (str) 内容为版面区域内的内容。 - overall_ocr_res: (Dict[str, Union[List[str], List[float], numpy.ndarray]]) 全局 OCR 结果的dict - input_path: (Union[str, None]) 图像OCR子产线接受的图像路径，当输入为numpy.ndarray时，保存为None - model_settings: (Dict) OCR子产线的模型配置参数 - dt_polys: (List[numpy.ndarray]) 文本检测的多边形框列表。每个检测框由4个顶点坐标构成的numpy数组表示，数组shape为(4, 2)，数据类型为int16 - dt_scores: (List[float]) 文本检测框的置信度列表 - text_det_params: (Dict[str, Dict[str, int, float]]) 文本检测模块的配置参数 - limit_side_len: (int) 图像预处理时的边长限制值 - limit_type: (str) 边长限制的处理方式 - thresh: (float) 文本像素分类的置信度阈值 - box_thresh: (float) 文本检测框的置信度阈值 - unclip_ratio: (float) 文本检测框的膨胀系数 - text_type: (str) 文本检测的类型，当前固定为"general" - text_type: (str) 文本检测的类型，当前固定为"general" - textline_orientation_angles: (List[int]) 文本行方向分类的预测结果。启用时返回实际角度值（如[0,0,1] - text_rec_score_thresh: (float) 文本识别结果的过滤阈值 - rec_texts: (List[str]) 文本识别结果列表，仅包含置信度超过text_rec_score_thresh的文本 - rec_scores: (List[float]) 文本识别的置信度列表，已按text_rec_score_thresh过滤 - rec_polys: (List[numpy.ndarray]) 经过置信度过滤的文本检测框列表，格式同dt_polys - formula_res_list: (List[Dict[str, Union[numpy.ndarray, List[float], str]]]) 公式识别结果列表，每个元素为一个dict - rec_formula: (str) 公式识别结果 - rec_polys: (numpy.ndarray) 公式检测框，shape为(4, 2)，dtype为int16 - formula_region_id: (int) 公式所在的区域编号 - seal_res_list: (List[Dict[str, Union[numpy.ndarray, List[float], str]]]) 印章文本识别结果列表，每个元素为一个dict - input_path: (str) 印章图像的输入路径 - model_settings: (Dict) 印章文本识别子产线的模型配置参数 - dt_polys: (List[numpy.ndarray]) 印章检测框列表，格式同dt_polys - text_det_params: (Dict[str, Dict[str, int, float]]) 印章检测模块的配置参数, 具体参数含义同上 - text_type: (str) 印章检测的类型，当前固定为"seal" - text_rec_score_thresh: (float) 印章文本识别结果的过滤阈值 - rec_texts: (List[str]) 印章文本识别结果列表，仅包含置信度超过text_rec_score_thresh的文本 - rec_scores: (List[float]) 印章文本识别的置信度列表，已按text_rec_score_thresh过滤 - rec_polys: (List[numpy.ndarray]) 经过置信度过滤的印章检测框列表，格式同dt_polys - rec_boxes: (numpy.ndarray) 检测框的矩形边界框数组，shape为(n, 4)，dtype为int16。每一行表示一个矩形 - table_res_list: (List[Dict[str, Union[numpy.ndarray, List[float], str]]]) 表格识别结果列表，每个元素为一个dict - cell_box_list: (List[numpy.ndarray]) 表格单元格的边界框列表 - pred_html: (str) 表格的HTML格式字符串 - table_ocr_pred: (dict) 表格的OCR识别结果 - rec_polys: (List[numpy.ndarray]) 单元格的检测框列表 - rec_texts: (List[str]) 单元格的识别结果 - rec_scores: (List[float]) 单元格的识别置信度 - rec_boxes: (numpy.ndarray) 检测框的矩形边界框数组，shape为(n, 4)，dtype为int16。每一行表示一个矩形 - 调用save_to_json() 方法会将上述内容保存到指定的save_path中，如果指定为目录，则保存的路径为save_path/{your_img_basename}.json，如果指定为文件，则直接保存到该文件中。由于json文件不支持保存numpy数组，因此会将其中的numpy.array类型转换为列表形式。 - 调用save_to_img() 方法会将可视化结果保存到指定的save_path中，如果指定为目录，则保存的路径为save_path/{your_img_basename}_ocr_res_img.{your_img_extension}，如果指定为文件，则直接保存到该文件中。(产线通常包含较多结果图片，不建议直接指定为具体的文件路径，否则多张图会被覆盖，仅保留最后一张图) 此外，也支持通过属性获取带结果的可视化图像和预测结果，具体如下：

• json 属性获取的预测结果为dict类型的数据，相关内容与调用 save_to_json() 方法保存的内容一致。 - img 属性返回的预测结果是一个dict类型的数据。其中，键分别为 layout_det_res、overall_ocr_res、text_paragraphs_ocr_res、formula_res_region1、table_cell_img 和 seal_res_region1，对应的值是 Image.Image 对象：分别用于显示版面区域检测、OCR、OCR文本段落、公式、表格和印章结果的可视化图像。如果没有使用可选模块，则dict中只包含 layout_det_res。

（4）调用PP-ChatOCRv4的产线对象的 build_vector() 方法，对文本内容进行向量构建。
  以下是 build_vector() 方法的参数及其说明：

  该方法会返回一个包含视觉文本信息的dict，dict的内容如下： - flag_save_bytes_vector：(bool)是否将结果保存为二进制文件 - flag_too_short_text：(bool)是否文本长度小于最小字符数量 - vector: (str|list) 文本的二进制内容或者文本内容，取决于flag_save_bytes_vector和min_characters的值，如果flag_save_bytes_vector=True且文本长度大于等于最小字符数量，则返回二进制内容；否则返回原始的文本。
（5）调用PP-ChatOCRv4的产线对象的 mllm_pred() 方法，获取多模态大模型抽取结果。

  以下是 mllm_pred() 方法的参数及其说明：

（6）调用PP-ChatOCRv4的产线对象的 chat() 方法，对关键信息进行抽取。

  以下是 chat() 方法的参数及其说明：

以下是将您提供的表格内容重新整理成 Markdown 格式的表格：

  该方法会将结果打印到终端，打印到终端的内容解释如下： - chat_res: (dict) 提取信息的结果，是一个dict，包含了待抽取的键和对应的值。