【AI】ChatGLM3-6B上手体验

法一：针对.bin文件点击进入模型权重页面后，鼠标右击download选择复制链接地址，进入终端后使用wget 链接地址方式下载。7，模型下载：git clone https://huggingface.co/THUDM/chatglm3-6b。下载前需要先安装git-lfs工具（拉取大文件）：apt-get install git-lfs。将THUND/chatglm3-6b修改为../chatglm3-6b。5，升级pip版本：python -m pip install --upgrade pip。

ChatGLM3-6B借用AutoDL算力部署，保姆级教程！

在数据集方面，我们使用了 Movielen-1M 这个电影推荐领域中最流行的数据集，Movielen-1M 数据集包含了 6036 个用户以及他们对 2445 部电影的评分数据；其中包含三个.dat文件，ratings.dat是用户对电影的评分，uesrs.dat是用户的信息，movies.dat是电影的信息。用户对影片的评分最低为 1，最高为 5。Movielen-1M 数据集下载链接如下。

本地CPU上部署ChatGLM-6B

接口url请求参数"functions": functions, # 函数定义"model": model, # 模型名称"messages": messages, # 会话历史"stream": use_stream, # 是否流式响应"max_tokens": 100, # 最多生成字数"temperature": 0.8, # 温度"top_p": 0.8, # 采样概率请求的方式有流式和非流式请求，对应请求参数中stream的True和False，请求方式的处理可以参照官方给出的方法。

对 ChatGLM3-6B-Base 的测试中，BBH 采用 3-shot 测试，需要推理的 GSM8K、MATH 采用 0-shot CoT 测试，MBPP 采用 0-shot 生成后运行测例计算 Pass@1 ，其他选择题类型数据集均采用 0-shot 测试。官方对 Base版提供的是基于Lora的微调。不同的部署方式，第一种只有Chat 对话模式，第二种将对话模式，工具模型和代码解释器模型进行了集成。转换后，context是对话的上文，也就是模型的输入，target是对话的下文，也就是模型的输出。

加载半精度的 ChatGLM3-6B 模型需要大概 13GB 内存。从上图也可以看到，ChatGLM3-6B-32K的话是最高配的模型，而ChatGLM3-6B-Base是最低配的模型。大模型是很吃CPU和显卡的，所以，要不有一个好的CPU，要不有一块好的显卡，显卡尽量13G+，内存基本要32GB+。清华大模型分为三种(ChatGLM3-6B-Base，ChatGLM3-6B，ChatGLM3-6B-32K)一般会选择 ChatGLM3-6B普通模型来使用，当然，如果配置高，可以用32K的，会更好。

4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary。2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装。​ 1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive。链接https://pytorch.org/get-started/locally/

针对chatglm3-6b模型，以阿里云服务器和AutoDL为例，关于在云服务器创建、模型部署、历史版本/分支拉取、rust安装等内容。

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

小白教程，快速部署ChatGlm3大模型、快速使用loar微调大模型！

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。

chatglm3，微调训练与部署，模型合并，数据集验证等