使用LangChain加载和处理WeChat聊天记录_langchat打通微信了吗-CSDN博客

本文链接：https://blog.csdn.net/eahba/article/details/146220398

# 使用LangChain加载和处理WeChat聊天记录

WeChat的聊天记录一直以来都难以直接导出，这给后续的分析或模型的微调带来了挑战。然而，为了帮助您处理有限数量的消息，我们可以使用一个自定义的聊天记录加载工具，将复制粘贴的WeChat消息转换为LangChain消息格式。

## 技术背景介绍

LangChain是一款兼容多种聊天记录格式的开源工具，支持将聊天记录转换为可用于模型微调或样例选择的消息格式。而WeChat的消息导出功能有限，我们可以借鉴LangChain的Discord聊天记录加载方法，自定义一个WeChat消息加载器。

## 核心原理解析

通过将WeChat消息复制至文本文件，并利用正则表达式解析文件中的消息内容，我们可以构建一个自定义的聊天记录加载器。该加载器能够将消息转换为LangChain的`HumanMessage`和`AIMessage`格式，并进行后续处理，如消息合并和AI消息转换。

## 代码实现演示(重点)

以下是完整的代码实现过程：

### 1. 创建消息转储

首先，在WeChat桌面应用中选择需要的消息并复制，然后将其粘贴到本地计算机上的文本文件中，如下所示：

```python
%%writefile wechat_chats.txt
女朋友 2023/09/16 2:51 PM
天气有点凉

男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。

女朋友 2023/09/16 3:06 PM
忙什么呢

男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你

女朋友 2023/09/16 3:06 PM
[动画表情]

2. 定义聊天记录加载器

定义一个自定义的WeChatChatLoader来解析文本文件中的消息：

import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class WeChatChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
        )

    def _append_message_to_results(
        self,
        results: List,
        current_sender: str,
        current_timestamp: str,
        current_content: List[str],
    ):
        content = "\n".join(current_content).strip()
        if not re.match(r"\[.*\]", content):  # 跳过贴纸和图片等非文本消息
            results.append(
                HumanMessage(
                    content=content,
                    additional_kwargs={
                        "sender": current_sender,
                        "events": [{"message_time": current_timestamp}],
                    },
                )
            )
        return results

    def _load_single_chat_session_from_txt(
        self, file_path: str
    ) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()
        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(self._message_line_regex, line):
                if current_sender and current_content:
                    results = self._append_message_to_results(
                        results, current_sender, current_timestamp, current_content
                    )
                current_sender, current_timestamp = re.match(
                    self._message_line_regex, line
                ).groups()
                current_content = []
            else:
                current_content.append(line.strip())
        if current_sender and current_content:
            results = self._append_message_to_results(
                results, current_sender, current_timestamp, current_content
            )

        return chat_loaders.ChatSession(messages=results)

    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

3. 创建加载器

初始化WeChatChatLoader并指向我们刚刚创建的文本文件：

loader = WeChatChatLoader(
    path="./wechat_chats.txt",
)

4. 加载消息

加载并转换消息为LangChain格式：

from typing import List
from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)  # 合并同一发送者的连续消息
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))  # 转换为AI消息

5. 后续处理和应用

将转换后的消息用于模型微调或直接预测：

from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

for chunk in llm.stream(messages[0]["messages"]):
    print(chunk.content, end="", flush=True)