CODE LLM 对比

已于 2023-08-22 00:16:34 修改
阅读量508 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： LLM 大模型
于 2023-08-20 00:01:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq837993702/article/details/132385367

CODE LLM

Model参数模型大小模型准确率（Pass@1）发布时间License机构GPU消耗Respository
CodeGen-16B-multi160亿
27.5G		19.2
2022-04-01
免费商用授权
Salesforce		https://huggingface.co/Salesforce/codegen-16B-multi/tree/main
https://github.com/salesforce/CodeGen
CodeGeeX-13B130亿22.92022-09-30开源清华大学

https://github.com/THUDM/CodeGeeX

https://huggingface.co/spaces/THUDM/CodeGeeX

Codex-12B120亿28.8不开源OpenAI
CodeT5Plus-16B-mono160亿41GB30.92023-05-13免费商用授权
Salesforce		https://github.com/salesforce/CodeT5https://huggingface.co/Salesforce/codet5p-16b
Code-Cushman-00133.5不开源OpenAI
LLaMA-65B650亿120GB23.72023-02-24开源不可商用Metahttps://github.com/facebookresearch/llama
LLaMA2-70B700亿129GB29.9
2023-07-18		免费商用授权Metahttps://github.com/facebookresearch/llamahttps://huggingface.co/meta-llama/Llama-2-70b
CodeGen2.5-7B-mono70亿27GB33.42023-07-07免费商用授权Salesforcehttps://github.com/salesforce/CodeGenhttps://huggingface.co/Salesforce/codegen25-7b-multi
StarCoder-15B150亿64GB33.22023-05-05免费商用授权BigCodehttps://huggingface.co/bigcode/starcoderhttps://github.com/bigcode-project/starcoder/tree/main
CodeGeeX2-6B60亿12.5GB35.92023-07-25免费商用授权清华大学

GPU>13G

内存14G

https://github.com/salesforce/CodeGen

https://huggingface.co/Salesforce/codegen25-7b-multi

GPT-3.5 - OpenAI-
175B		1750亿48.1
2022-11-30		不开源OpenAI

WizardCoder-15B150亿31GB57.3 2023-06-14免费商用授权微软内存40G

https://github.com/nlpxucan/WizardLM

https://huggingface.co/WizardLM/WizardCoder-15B-V1.0

PanGu-Coder2-150B1500亿61.64
2023-07-27		不开源华为https://arxiv.org/pdf/2307.14936.pdf
GPT-4 - OpenAI-175B1750亿67.0
2023-03-14		不开源OpenAIhttps://cdn.openai.com/papers/gpt-4.pdf
Qwen-7B70亿15.4GB2023-08-03免费商用授权阿里

 GPU> 23g

Qwen/Qwen-7B · Hugging Face
https://github.com/QwenLM/Qwen-7B
ChatGLM-6B62亿8GB2023-03-14清华大学https://github.com/THUDM/ChatGLM-6B
https://huggingface.co/THUDM/chatglm-6b

reference:

https://github.com/abacaj/code-eval

https://lmsys.org/

Chatbot Arena Leaderboard - a Hugging Face Space by lmsys

https://huggingface.co/WizardLM/WizardLM-30B-V1.0

https://github.com/QwenLM/Qwen-7B

https://github.com/THUDM/ChatGLM2-6B

https://www.datalearner.com/ai-models/pretrained-models?&aiArea=1002&language=-1&contextLength=-1&openSource=-1&publisher=-1

选择合适的LLM大模型：对比与评估
AI天才研究院
03-18 854
随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理领域展现出了强大的能力。本文章的目的在于帮助开发者、研究人员以及企业决策者等相关人员，深入了解不同LLM大模型的特点、性能和适用场景，从而能够根据自身需求选择合适的大模型。文章将涵盖常见LLM大模型的对比与评估，包括模型的架构、训练方式、应用领域等方面，同时会结合实际案例进行分析。核心概念与联系：介绍LLM大模型的基本概念、架构和工作原理，并通过示意图和流程图进行直观展示。
JetBrains IDEs和Visual Studio Code的对比
ZJQ的博客
01-08 1000
公司开发的一系列集成开发环境（IDE）。以下是具体介绍：IntelliJ IDEA是JetBrains 公司的一款产品。JetBrains IDEs是。
Code LLM：代码生成大语言模型
vastgrassland的博客
08-30 1595
引言9月，开源创新大会（GOSIM 2023）将在上海举行。其中在23-24日的 GOSIM AI工作坊AI论坛中，来自Hugging Face的专家将介绍他们在代码生成大语言模型（Code LLM）领域所做的相关工作，其中包括他们领导的Big Code组织以及StarCoder代码生成大语言模型。本文简要扫描Code LLM领域最近的发展，也为参会做好前期准备。图：Hugging Face在GO...
【论文阅读-Low-code LLM】使用LLM进行可视化编程
土豆洋芋山药蛋的博客
05-08 1494
大规模预训练模型（LLMs）在解决困难问题仍具有很大的挑战。这篇文章提出了可以与人进行交互的低代码大模型框架，Low-code LLM。通过人类的反馈和编辑可以是LLMs输出更可控和更稳定的输出。该框架主要包括两个模块：对复杂任务设计一个结构化的计划流程图用户可以进一步对该计划进行编辑和修改根据用户确定后的计划流程产生对应的输出。这个工作放在了微软的TaskMatrix仓库下。TaskMatrix旨在连接ChatGPT和一系列基本的可视化模块，并以此实现在对话过程中处理图片内容。
四篇Code+LLM论文速读
AI蜗牛车
04-02 1242
前言自从LLM的发展，LLM4Code已经生成一个落地比较强的方向了，比较好的产品就是github的copilot。这些天看了不少code的相关paper，准备花几篇文章大概总结一下，主要总结一些有价值的点，细节就不展开了。细节可以自己去看下原文主要的方向就是code review，code generation等一、GPT-3.5 for Code Review Automation: How ...
使用Code Llama构建自己的LLM编码助手详细步骤
kkming的专栏
07-04 830
如果需要更高的准确性和针对特定领域的优化，可以对Code Llama进行微调。微调需要一定的训练数据和计算资源，具体步骤可以参考Hugging Face的文档。
LLM | 一些开源的AI代码生成模型调研及总结【20240130更新】
weixin_44649780的博客
01-30 5227
本文主要介绍主流代码生成模型，总结了基于代码生成的开源大语言模型，按照时间顺序排列。
【LLM 论文】OpenAI 基于对比学习微调 LLM 得到嵌入模型
VLyb
05-04 1799
这篇论文表明，基于 GPT 系列的 LLM，在足够大的批处理的无监督数据上进行对比预训练，可以获得高质量的文本和代码的 embedding 表示，并可以应用于其他的下游任务中得到不错的表现。
LLM探针技术揭秘情感敏感层
ZJQ的博客
07-17 54
本文介绍了一个基于Qwen2-3.5B-Instruct大语言模型的情感词敏感性分析脚本。该脚本通过对比原始文本与扰动文本（如"this movie is good"和"this movie is bad"）在各Transformer层的隐藏状态差异，计算各层的余弦相似度差异度，找出对情感词最敏感的层。结果显示，深层Transformer层对情感词变化更敏感，其中差异最大的Top3层被特别标注。分析结果通过柱状图可视化，直观展示了模型内部对情感信息处理的层级特征。该技
20个主流的代码生成LLM大模型及9种常见应用场景
热门推荐
新缸中之脑
07-03 1万+
自动完成或代码生成功能已在开发工具中存在多年。早在 1996 年，微软就在 Visual Studio 中为 Visual Basic 引入了这一功能（IntelliSense）。熟悉 Eclipse 的人可能使用过 Java getter 和 setter 生成函数，以及变量名的字符串导出函数（著名的“public String toString()”函数）。提供下一行代码仍然是这些 IDE 工具的一个重要功能，通常通过同时按下 Control 和空格键来激活。
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-29 1万+
​ LLMs之Code：Code Llama的简介(衍生模型，如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略 目录 Code Llama的简介 Code Llama的安装 Code Llama的使用方法 Code Llama的简介 2023年08月25日，Meta发布了基于的Llama2用于专攻代码生成的基础模型 Code Llama。Code Llama 是基于 Llama 2的一系列面向代码的大型语言模型，提供了在开
AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化
zero
09-21 1万+
2023年08月25日(北京时间)，Meta发布了Code Llama，一个可以使用文本提示生成代码的大型语言模型（LLM)。Code Llama是最先进的公开可用的LLM代码任务，并有潜力使工作流程更快，为当前的开发人员和降低进入门槛的人正在学习代码。Code Llama有潜力作为一种生产力和教育工具来帮助程序员编写更健壮、文档更完善的软件。Code Llama在Llama 2的基础上增强了编码能力。它可以从代码和自然语言提示(例如，“给我写一个输出斐波那契数列的函数。
AI编码助手的崛起与Code Llama实战
2501_90323865的博客
05-23 43
如Github CoPilot & CoPilot Chat，它在开发者社区中久负盛名且不断改进，其最新版本具备AI聊天机器人、代码生成、自动完成、在线聊天框、CLI自动完成等诸多基于GitHub的功能，助力代码搜索与理解。具备代码分析能力，在代码生成过程中识别潜在的错误和漏洞，可显著提高代码质量。在实际应用中，开发者不妨尝试使用Tabby、Codey、Mixtral 8X7B、CodeGen、Code、T5、CodeGee X、StarCoder等不同模型生成不同编程语言的代码，并比较它们的性能。
48个代码大模型汇总，涵盖原始、改进、专用、微调4大类
学姐带你玩AI的博客
11-29 5358
具有强大的表达能力和复杂性，可以处理各种自然语言任务，包括文本分类、问答、对话等。这些模型通常基于深度学习架构，如Transformer，并使用预训练目标（如语言建模）进行训练。在对大量代码数据的学习和训练过程中，代码大模型能够提升代码编写的效率和质量，辅助代码理解和决策，在代码生成、代码补全、代码解释、代码纠错以及单元测试等任务中都表现出十分出色的能力。为了帮大家深入掌握代码大模型的发展历程和挑战，我这次整理了相关的48个模型。
【llm 微调code-llama 训练自己的数据集 一个小案例】
放飞自我的coder
01-19 5474
微调coda-llama-7b 训练自己的数据集。jsonl格式，三个字段：context, answer, question。
介绍 Code Llama，一种用于编码的最先进的大型语言模型
新华编程特战队
11-21 317
Meta发布了 Code Llama，这是一个大型语言模型 （LLM），可以使用文本提示来生成代码。Code Llama 是用于代码任务的公开可用的 LLM 的最新技术，它有可能使当前开发人员的工作流程更快、更高效，并降低正在学习编码的人的进入门槛。Code Llama 有可能被用作生产力和教育工具，帮助程序员编写更强大、更有据可查的软件。生成式 AI 领域正在迅速发展，我们相信，对当今 AI 的开放方法是开发创新、安全和负责任的新 AI 工具的最佳方法。
前端开发基于jQuery的选择器与DOM操作技术：网页元素精准定位及动态交互功能实现
09-03
内容概要：本文系统介绍了jQuery的基础知识，涵盖其概念、优势、开发环境搭建、核心语法与选择器、DOM遍历与操作方法，以及事件处理机制。文章强调jQuery作为轻量级JavaScript库在简化DOM操作、跨浏览器兼容性及提升开发效率方面的突出作用，并通过大量代码示例详细讲解了选择器（如标签、类、ID、属性、自定义及表单选择器）、DOM遍历方法（如filter、next、siblings等）、元素访问方式（.get()和索引访问）以及事件绑定与委托（如on、off、hover、ready等），帮助读者掌握jQuery的核心使用技巧。; 适合人群：具备HTML、CSS和JavaScript基础，初入前端领域的开发者或希望巩固jQuery基础的1-3年经验研发人员。; 使用场景及目标：①快速实现DOM元素选取与操作，提升页面交互开发效率；②理解jQuery事件机制与DOM遍历逻辑，用于传统项目维护或兼容性开发；③为学习现代前端框架前打下扎实的JavaScript操作基础。; 阅读建议：建议结合文中示例动手实践，重点理解选择器的使用场景与事件委托机制，注意区分jQuery对象与原生DOM对象的操作差异，并在实际项目中逐步应用所学内容以加深理解。
DeepSeek类AI在图书馆智慧服务中的应用与技术考量.docx
09-03
DeepSeek类AI在图书馆智慧服务中的应用与技术考量.docx
jsfuck自动解码工具.zip
最新发布
09-03
jsfuck自动解码工具
LLM监测
03-08
### 实现 LLM 大型语言模型监控 为了有效监控大型语言模型...通过对比不同版本之间的表现差异来进行A/B测试，进而找出最优配置参数组合。随着新数据不断加入训练集，保持迭代更新也是提升模型质量的关键所在。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Richard_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值