程序员如何应对AI工具带来的挑战：结合开源与私有部署，实现AI工具的定制化与安全性

本文链接：https://blog.csdn.net/2401_85375186/article/details/141560339

随着 AIGC 热潮的兴起，越来越多的 AI 工具应用开始出现，包括 OpenAI ChatGPT、Github Copilot 等，这些工具正在改变着传统的工作生产方式。

在 2023 年 3 月的一次发布会中，OpenAI 甚至展示了直接通过识别原型草图，智能生成网站代码的案例。

一时间，“程序员要失业了”类似言论甚嚣尘上。

但技术革命改变的只是工具，只有持续地学习新工具，才能不被时代所抛弃。

打不过就要加入，程序员要想保住自己的“饭碗”就需要开始使用 AI 工具提升自己工作效率，甚至直接参与到 AI 工具的开发中，完成个人能力升级。

AI工具使用痛点和解决方案

当下 AI 工具能力一类来自 AI 头部公司提供的通用能力，如 ChatGPT、 Copilot等，一类来自社区的开源生态，如 LangChain、AutoGPT 等。

前者功能稳定，但主要面向通用场景，缺少针对实际工作场景的定制化能力，如不支持基于公司内部文档解答问题等，甚至还有泄露公司内部信息的隐患。

后者扩展性强，可私有部署控制，但如果要完美契合当前团队工作流，其定制成本又特别高昂，难以在人力不足的中小型团队落地。

因此，有机地将头部 AI 公司的通用能力和社区开源生态进行结合，取长补短、灵活定制，才是长期的最佳策略。

下面笔者以 CLI 智能提示助手的定制化为例，讲解如何低成本地实现这种结合。

CLI 智能提示助手实践

CLI 智能提示助手是一个命令行终端工具，支持用户用自然语言描述想做的事情，比如统计查找重复文件等，然后回复建议的 CLI 命令。这类工具开源社区已有多个实现，为方便展示，我们选取其中的 Python 技术栈版本 ricklamers/shell-ai，使用效果如下：

其开源源码核心部分 shell_ai/main.py 比较简单（只有两百多行）。检查后便不难发现他的底层是通过如下提示词模板定制 OpenAI 通用模型 API 角色设定的：

1. SystemMessage.content='You are an expert at using shell commands.` ``I need you to provide a response in the format `{"command": "your_shell_command_here"}`.`` `The system the shell command will be executed on is Darwin 22.1.0.` `Only provide a single executable line of shell code as the value for the "command" key.``Never output any text outside the JSON structure. The command will be directly executed in a shell.``For example, if I ask to display the message \'Hello, World!\', you should respond with ```json\n{"command": "echo \'Hello, World!\'"}```.``Between [], these are the last 1500 tokens from the previous command\'s output, you can use them as context: [None], if it\'s None, don\'t take it into consideration.'`  `2. HumanMessage.content="Here's what I'm trying to do: run 统计查找重复文件" # 这里注入用户输入

这个提示词中通过 SystemMessage 限定了 AI 机器人的身份背景和输入输出格式，同时给出了系统背景信息，如上文给出的是 MacOS 背景设定。

OpenAI API 在收到上述提示词后，将会基于大模型的历史训练语料中查找能匹配目标需求的 MacOS 系统命令，并返回给用户进行选择。

而程序员日常工作使用的命令常常是公司内定制的工具，不可能存在于 OpenAI 的历史训练语料中。

这就是前文第二节提到的落地痛点，因此需要将 OpenAI API 能力和开源工具能力有机结合，以扩展支持定制化的场景诉求。

但如何让 AI 学会公司内部工具的使用方法呢？

举个例子，公司内部有个专用命令，会自动汇总个人的开发工作信息，并自动生成每周报告。我们假设其使用文档如下：

显然，my_wr_gen 这个命令只存在于公司内部系统，OpenAI 和 shell-ai 都完全不知晓它的功能和使用方式。因此，当我们调用 shell-ai 问它如何生成周报时，它完全不会回答任何 my_wr_gen 相关信息，如下图所示：

针对这一问题，我们可以在公司内私域部署 Dify 服务，以低成本地实现一个基于私域知识信息的大语言模型 API。

Dify 底层的私有部署、文本分割和嵌入等技术能保障公司私域信息的安全。具体部署流程参考官网 docker 部署和源码部署章节，本文暂不累述。通过Dify 平台，我们可以配置出一个智能对话机器人 API，并将其绑定上文的 my_wr_gen 使用文档。具体步骤如下：

1、上传知识库

首先完成知识库上传：

①打开Dify 顶部【知识库】功能；

②点击【添加文件】将上面提到的使用文档文件上传上去。

Dify 平台默认支持多种文件格式，笔者建议优先使用 Markdown 文件类型。

2、创建和初始化对话机器人

点击顶部【工作室】功能页面创建一个对话类型机器人，然后分三步完成机器人的初始化设置：

①打开左侧【编排】设置页面；

②在【上下文】中添加刚才创建的知识库，实现知识绑定；

③在【提示词】中补充 CLI 助手角色设置如下图所示，笔者在提示词中约束了机器人的身份设定，并要求其根据上下文和用户输入查询给出 CLI 命令建议。

其中这里的变量“query”会用于承载后面 API 请求中的用户输入信息。

3、发布 API

配置完成后点击发布即可获得一个外网可以访问的大语言模型 API。

点击左侧【访问 API】即可看到所有可用 API 类型，我们只需要使用其中的【发送对话消息】 API，如下图所示：

4、扩展 shell-ai 核心代码支持 Dify API

那么接下来，只需要使用这个 API 替换原来 shell-ai 中对 OpenAI API 的调用，即可让 shell-ai 了解 my_wr_gen 这个私有命令的用法。

由于 Dify 本身 API 接口定义和 OpenAI 完全不同，我们需要在 shell-ai 的源码中进行输入输出格式的适配。

具体可以分为以下步骤：

①增加 Dify API 类型。 检查 shell-ai/main.py 源码，可以发现这一工具每次调用都会自动加载 ~/.config/shell-ai/config.json 文件中的环境配置（MacOS 下为此地址，其他系统可能有所变化）。其中有一个环境配置字段为 OPENAI_API_TYPE 用于判断使用什么类型的 OpenAI 接口，默认支持 openai 和 azure 两种设置。那我们就在这里扩展支持 Dify 的 API 类型。在原来代码的基础上，我们先增加以下代码：

1. OPENAI_API_TYPE = os.environ.get("OPENAI_API_TYPE", "openai")`  `3. OPENAI_API_VERSION = os.environ.get("OPENAI_API_VERSION", "2023-05-15")`  `4. if OPENAI_API_TYPE not in OpenAIOptions.__members__ and OPENAI_API_TYPE != "dify": # 新增 dify 类型校验`  `5.     print(`  `6.         f"Your OPENAI_API_TYPE is not valid. Please choose one of {OpenAIOptions.__members__}"`  `7.     )`  `8.     sys.exit(1)`  `9.`   `10. # ... 省略部分无关代码`  `11.`   `12. if OPENAI_API_TYPE == "openai":`  `13.     chat = ChatOpenAI(`  `14.         model_name=OPENAI_MODEL,`  `15.         n=SHAI_SUGGESTION_COUNT,`  `16.         openai_api_base=OPENAI_API_BASE,`  `17.         openai_organization=OPENAI_ORGANIZATION,`  `18.         openai_proxy=OPENAI_PROXY,`  `19.     )`  `20. if OPENAI_API_TYPE == "azure":`  `21.     chat = AzureChatOpenAI(`  `22.         n=SHAI_SUGGESTION_COUNT,`  `23.         openai_api_base=AZURE_API_BASE,`  `24.         openai_api_version=OPENAI_API_VERSION,`  `25.         deployment_name=AZURE_DEPLOYMENT_NAME,`  `26.         openai_api_key=os.environ.get("OPENAI_API_KEY"),`  `27.         openai_api_type="azure",`  `28.         temperature=0,`  `29.     )`  `30. if OPENAI_API_TYPE == "dify":`  `31.     chat = DifyChat() # 新增 dify 类型 chat 实例

②封装DifyChat 类。 上面代码中，ChatOpenAI 和 AzureChatOpenAI 的定义都是来自著名 AI 开发框架 LangChain。其接口输入输出定义上是无法和 Dify API 对齐的。但得益于 LangChain 的抽象封装，shell-ai对 chat 实例的调用都收敛在 generate 方法。因此我们可以以最低成本，在 DifyChat 类中完成简单的输入对齐，即将 generate 传入入参的格式进行对齐，并传给 Dify 平台。然后在返回后完成输出响应的对齐。首先是对于 DifyChat 实现的简单封装：

2. class DifyChat:`  `3.     def generate(self, messages):`  `4.         print(messages)`  `5.         query = messages[0][0].content + messages[0][1].content`  `6.         print(query)`  `7.         headers = {`  `8.             'Authorization': 'Bearer YOUR_DIFY_API_KEY',`  `9.             'Content-Type': 'application/json',`  `10.         }`  `11.`           `12.         data = {`  `13.             'inputs': {},`  `14.             'query': query,`  `15.             'response_mode': 'blocking',`  `16.             'conversation_id': '',`  `17.             'user': 'abc-123'`  `18.         }`  `19.`   `20.         response = requests.post('https://api.dify.ai/v1/chat-messages', headers=headers, json=data)`  `21.         print("Got Response from dify::" + response.text)`  `22.         return response

③处理请求参数和返回结果。 上述代码中需要注意替换请求头中 Authorization 字段的 API_KEY 为自己的值。API 域名为 Dify 默认，如有私有部署的需要替换为自己域名。处理完成后，DifyChat 实例就能获取用户输入的命令诉求，并将其和 shell-ai 本身的提示词模板拼合后，转发给刚才配置的 Dify 对话机器人。当机器人返回答复后，我们还需要差异化处理返回结果如下：

23. # Extract commands from the JSON response`  `32. commands = []`  `33. if (OPENAI_API_TYPE == "dify"): # 针对 dify 差异化处理`  `34.     try:`  `35.         data = json.loads(response.text) # 解析 dify 返回的 json`  `36.         command_json = json.loads(data["answer"]) # Dify 的答复在 answer 字段中`  `37.         command = command_json["command"] # 对齐原有逻辑，答复内容应为一个 json，其中 command 字段为命令`  `38.         print(command) # 打印 dify 返回的 command`  `39.         if command:  # 对齐原有逻辑`  `40.             commands.append(command)`  `41.     except json.JSONDecodeError:`  `42.         # Fallback: treat the message as a command`  `43.         commands.append(msg.message.content)`  `44. else: # 原始逻辑`  `45.     for msg in response.generations[0]:`  `46.         try:`  `47.             json_content = code_parser(msg.message.content)`  `48.             command_json = json.loads(json_content)`  `49.             command = command_json.get("command", "")`  `50.             if command:  # Ensure the command is not empty`  `51.                 commands.append(command)`  `52.         except json.JSONDecodeError:`  `53.             # Fallback: treat the message as a command`  `54.             commands.append(msg.message.content)`  `55.`   `56. # Deduplicate commands`  `57. commands = list(set(commands))

④全局变量配置修改。 完成上述源码逻辑修改后，我们还需要在 ~/.config/shell-ai/config.json 中修改 OPENAI_API_TYPE 类型为 Dify：

24. {``58.    "OPENAI_API_TYPE":"dify"``59. }

⑤最终，我们尝试使用本地运行方式试运行 shell_ai/main.py 文件，如下图所示。 可以发现我们修改后的代码成功完成了提示词模板的拼合，将拼合结果传给了 Dify API 并获得符合期望的返回结果。shell-ai 最终成功学习到了我们的私域知识，并给出了 my_wr_gen ~/Dev/ 这个建议。

结语

在上面的实践中，我们成功让一个只能解决通用问题的社区 AI 工具学习到了私域知识。在定制通用工具的过程中，我们不止可以产出更趁手的 AI 工具，同时还能加深对 AI 领域知识的了解。

此外，在上文提到的 Dify 知识库创建中，平台会先使用文本分割技术将我们传入的技术文档分割成一个个碎片，在每次请求 OpenAI 时，会使用嵌入技术动态选择最关联的碎片，因此 OpenAI API 无法一次性获取完整地私域文档知识，进而在一定程度上保障了企业信息安全。同时无论是 Dify 还是 Shell-ai，它们的底层开发都不约而同地使用了 LangChain 这一大语言模型开发框架。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。