使用Microsoft.SemanticKernel基于本地运行的Ollama大语言模型实现Agent调用函数

大语言模型的发展日新月异，记得在去年这个时候，函数调用还是gpt-4的专属。到今年本地运行的大模型无论是推理能力还是文本的输出质量都已经非常接近gpt-4了。而在去年gpt-4尚未发布函数调用时，智能体框架的开发者们依赖构建精巧的提示词实现了gpt-3.5的函数调用。目前在本机运行的大模型，基于这一套逻辑也可以实现函数式调用，今天我们就是用本地运行的大模型来实现这个需求。从测试的效果来看，本地大模型对于简单的函数调用成功率已经非常高了，但是受限于本地机器的性能，调用的时间还是比较长。如果有NVIDIA显卡的CUDA环境，质量应该会好很多，今天就以大家都比较熟悉的LLAMA生态作为起点，基于阿里云开源的千问7B模型的量化版作为基座通过C#和SemanticKernel来实现函数调用的功能。

基本调用逻辑参考这张图：

首先我们需要在本机(windows系统)安装Ollama作为LLM的API后端。访问https://ollama.com/，选择Download。选择你需要的版本即可，windows用户请选择Download for Windows。下载完成后，无脑点击下一步下一步即可安装完毕。

 安装完毕后，打开我们的PowerShell即可运行大模型，第一次加载会下载模型文件到本地磁盘，会比较慢。运行起来后就可以通过控制台和模型进行简单的对话，这里我们以阿里发布的千问2:7b为例。执行以下命令即可运行起来：

ollama run qwen2:7b

 接着我们使用ctrl+D退出对话框，并执行ollama serve，看看服务器是否运行起来了，正常情况下会看到11434这个端口已经运行起来了。接下来我们就可以进入到编码阶段