本地大模型也能“紧跟时事”:Ollama联网搜索 + 本地知识库

 

本文将用 Ollama 和 Page Assist 插件,快速部署一个具备在线搜索能力的本地大模型。

前言:

此处略过 Ollama 大模型的基础部署过程。如果未完成此步,请搜索相关教程,里面有足够详细的指导。

此外,接下来的许多步骤可能需要“科学上网”环境。

详细步骤:

  • 第一步:下载并配置 Embedding 模型

除了已部署的 Ollama 大模型,我们还需要额外下载一个Embedding模型。

什么是Embedding模型以及为什么需要

Embedding模型:将离散符号(如单词、用户ID)转化为连续向量表示的技术,用于捕捉语义和结构信息。

why: ta通过将离散数据映射为向量,提升语义理解与处理效率,是连接数据与模型决策的关键桥梁。

 

复制Embedding模型的下载命令。

运行命令行:

按下Win + R组合键,在弹出的运行窗口中输入cmd,然后按回车键打开命令行界面。

首先输入ollama,确保 Ollama 程序正在后台运行。

将之前复制的下载命令粘贴到命令行中(Ctrl + V),然后按回车键执行。

下载完成后,可以再次打开命令行,输入ollama list来验证Embedding模型是否已成功下载。

 

  • 第二步:安装并打开 Page Assist 插件

打开Google浏览器安装Page Assist插件

如果尚未安装,插件按钮会显示“Install”字样。

 

安装完成后,点击浏览器右上角的插件图标,打开 Page Assist 插件。

 

 

  • 第三步:配置 Page Assist 插件

进入插件主界面后,首先确认是否有“Ollama 正在运行”的提示。然后,点击进入“设置”选项。

可以在设置中将界面语言调整为中文,以方便操作。

在“一般设置”中向下滚动,找到“搜索设置”部分。

(搜索引擎选择: DuckDuckGo 和 Google 需要“科学上网”。Google 有时可能不稳定,其他搜索引擎质量相对一般。在此,比较推荐使用 DuckDuckGo。当然,如果本地部署完成后,不方便“科学上网”,也可以选择 Bing 引擎。)

接下来,配置 RAG 设置。

选择之前额外下载的 Embedding 模型。其他设置可以保持默认,或者根据您的需求进行调整。务必点击“保存”以应用更改。

 

  • 第四步:启用联网模式,开始智能对话!

最后返回主界面,选择一个模型,打开联网模式,就可以愉快地聊天啦

 

示例展示:

 

 

拓展功能:构建专属知识库

此外,还可以利用 Page Assist 的“管理知识”功能,打造个人的知识库。

点击后,知识库内容成功显示在上方区域,即表示导入成功。

还有很多功能可以自行探索哦

Enjoy 

 

### 大型语言模型的在线搜索实现与技术 大型语言模型(LLMs)通常依赖于离线训练的数据集来获取知识并生成响应。然而,在某些应用场景下,为了提供更及时和精确的信息,这些模型可能需要访问最新的互联网资源。这种能力被称为“联网搜索”。 #### 联网搜索的重要性 对于许多实际应用而言,保持信息更新至关重要。通过联网搜索功能,可以使得基于历史数据训练的语言模型能够获得最新事件、法规变化或其他动态内容的相关资料[^1]。 #### 实现方式 一种常见的做法是在接收到查询请求时启动搜索引擎API调用,从而检索最相关的结果摘要作为额外输入加入到对话上下文中去处理。这不仅增加了回复的新鲜度也提高了准确性[^2]。 另一种方法涉及构建专门的知识图谱或者数据库,并定期同步来自网络上的新条目;当有特定类型的询问到来时,则可以直接从此结构化存储中查找匹配项而不是每次都发起实时查询。 此外还有混合模式,即先利用内部积累的知识库作初步回应然后再根据情况决定是否进一步开展外部探索以补充细节或验证事实。 #### 技术挑战 尽管上述方案听起来简单明了,但在实践中却面临着诸多困难: - **延迟控制**:确保整个过程不会因为增加了一个异步操作而变得过慢影响用户体验。 - **隐私保护**:考虑到个人敏感信息的安全性和合规性问题,在设计过程中必须采取适当措施防止泄露风险。 - **成本效益分析**:频繁地向第三方服务发送请求可能会带来较高的开销,因此需权衡利弊找到最优解法。 ```python import requests def perform_web_search(query): api_key = 'your_api_key_here' url = f"https://api.example.com/search?q={query}&key={api_key}" response = requests.get(url) results = response.json() return results['items'] ``` 此代码片段展示了如何使用Python中的`requests`库执行简单的Web API调用来模拟联网搜索行为。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值