测评qwen 、glm ,deepseek的模型 对垂直领域的能力的支持情况对比

前言:

​ 在写这篇文章的时候,我也看了许多测评的文章,总觉得差点意思,都是对通用能力的测评,或者是垂直领域的coder 或者是math能力,就不太适用于我目前的项目,对于任何一个公司开发项目肯定是数据是非常核心的,不能说去直接调用市面给用户使用的大模型的api,需要部署本地大模型进行使用。我的思路,通过本地部署大模型,通过开发平台进行对垂直领域的回答,把chatGPT作为专家模型,进行对比,最后选出参数合适,领域知识全面的模型进行使用,引入项目当中去。

一、模型的测评平台搭建

​ 通过开源项目Open_webUI和Ollama集成进行测试的项目地址我放到了下面

https://github.com/open-webui/open-webui

Download Ollama on macOS

1.Docker desktop的安装

1.1 Docker desktop下载

网址:https://www.docker.com/products/docker-desktop/

进入网址后:点击Download Docker Desktop,我这里是windows系统,可以选择“Download for Windows - AMD64” 和 “Download for Windows - ARM64”

主要有以下区别

  1. “Download for Windows - AMD64” 是针对 64 位的 AMD 处理器架构设计的软件版本。

    • AMD64 架构在个人电脑领域广泛应用,具有强大的性能和广泛的软件兼容性。它能够处理大量的数据和复杂的计算任务,适用于各种高性能需求的场景,如游戏、图形设计、视频编辑等。
    • 很多主流的软件和游戏都针对 AMD64 架构进行了优化,以充分发挥其性能优势。
  2. “Download for Windows - ARM64” 则是针对 ARM64 架构的版本。

    • ARM64 架构主要用于移动设备和一些低功耗的计算设备,如智能手机、平板电脑和部分轻薄笔记本电脑。近年来,随着技术的发展,ARM64 架构也开始在桌面级电脑市场崭露头角。

    • ARM64 架构的特点是功耗低、续航能力强,适合对移动性要求较高的用户。

      我这里选择的是Download for Windows - AMD64,你根据你的需要进行选择即可

下载完成后你的目录就会有.exe的应用程序

具体的Docker desktop的安装不做过多的赘述,点击下一步下一步安装即可,安装好之后,打开软件主界面是:(这里我调整了主题是暗色系,正常是白色)

我们在 CMD 终端上看。

至此,Docker Desktop 安装告一段落,接下来就是在 安装Ollama平台和Open_webUI

2.Ollama的本地部署

进入网址:Download Ollama on macOS 根据你的需求进行下载即可,我这里直接下载的是windows版本,下载完成后也是在目录里出现了一个exe的文件,点击下一步进行安装即可

ollama部署完成后我们继续进入官网https://ollama.com/,搜索栏进行搜索选择你想用的模型

### 使用场景与性能比较 对于AI应用中的QWEN模型Deepseek-R1模型,在不同应用场景下表现出不同的优势。 #### QWEN模型的应用场景及性能特点 QWEN模型特别适用于自然语言处理任务,如对话生成、文本摘要以及机器翻译等。该模型具有强大的上下文理解能力,能够提供更加流畅且语义连贯的结果。在多轮对话中表现尤为突出,可以维持长时间高质量的人机交互体验[^2]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B") model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B") input_text = "Tell me about the history of China." inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` #### Deepseek-R1模型的应用场景及性能特点 相比之下,Deepseek-R1专注于大规模数据检索优化方面的工作负载。根据图1所示的基准测试结果表明,在涉及大量文档索引查询的任务上,Deepseek-R1展现出卓越的速度和准确性。这使得它非常适合用于搜索引擎后台支持或是企业级的知识管理系统当中[^1]。 ```python import deepseek as ds client = ds.Client(api_key='your_api_key') response = client.search(query="information retrieval", top_k=5) for doc in response['documents']: print(f"Title: {doc['title']}, Score: {doc['score']}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值