通用-模型格式&文件格式&语言类型

1 模型格式

知乎-《Pytorch格式 .pt .pth .bin .onnx 详解》
csdn-《深度学习模型文件格式大全：.safetensors、.ckpt、.pt、.pth、.onnx、.gguf、.bin 和 .pkl 等格式详解》

1.1 bin

• 加载：需要自定义逻辑读取 .bin 文件，并将其中的权重应用到模型结构中。
• 保存：同样需要自定义逻辑将模型的权重保存为 .bin 文件。
• 格式转换：在格式转换上，由于 .bin 文件是非标准化的格式，因此转换过程需要根据具体的 .bin 文件内容和结构来编写自定义代码。

2 常用文件格式

2.1 文本文件格式

• .txt：纯文本文件格式，只包含文本内容，不包含任何格式信息，几乎所有的文本编辑器都可以打开。
• .csv（逗号分隔值）：以逗号分隔不同字段的数据文件格式，常用于数据交换和存储表格数据，许多数据分析工具都可以直接处理 CSV 文件。
• .json（javascript对象表示法）：一种轻量级的数据交换格式，易于人类阅读和编写，也易于机器解析和生成。常用于 Web 服务中数据的传输。

2.2 文档文件格式

• .docx：微软 Word 2007 及以后版本使用的文档文件格式，基于 Office Open XML 标准，支持丰富的文本格式和元素。
• .pdf（便携式文档格式）：用于呈现和交换文档，无论在何种设备上查看，文档的格式和布局都能保持一致。常用于文档的分发和存档。
• .odt（开放文档文本）：一种开放标准的文档文件格式，被许多办公软件支持，如 LibreOffice、WPS Office 等。

2.3 常用图像文件格式

• .jpg/.jpeg：一种常见的图像压缩文件格式，适用于存储照片等色彩丰富的图像，压缩比高，但会损失一定的图像质量。
• .png：支持透明通道，无损压缩格式，常用于网页设计、图标制作等需要高质量图像的场景。
• .gif：支持动画效果，常用于制作动态图标、表情包等，颜色数量有限，适合简单的动画和图像。

2.4 音频文件格式

• .mp3：一种广泛使用的音频压缩文件格式，压缩比高，音质较好，适合音乐的存储和播放。
• .wav：无损音频文件格式，音质高，但文件体积较大，常用于音频编辑和专业音频制作。
• .ogg：一种开放的音频压缩格式，支持流媒体播放，音质和压缩比都不错。

2.5 视频文件格式

• .mp4：一种通用的视频文件格式，兼容性好，支持多种编码方式，广泛应用于网络视频、移动设备等。
• .avi：早期的视频文件格式，兼容性好，但文件体积较大。
• .mov：苹果公司开发的视频文件格式，常用于苹果设备和专业视频编辑软件。

2.6 数据文件格式

• .dat：可以用于图神经网络数据，可以表示数据或图片等。

3 语言类型

3.1 编程语言

3.1.1 通用编程语言

python\java\c++\javascript\c#等

3.1.2 脚本语言

• Shell 脚本：在 Unix/Linux 系统中用于自动化任务和系统管理，常见的 Shell 有 Bash、Zsh 等。可以编写脚本来执行文件操作、进程管理等任务。
• Perl：在文本处理、系统管理、Web 开发等方面有广泛应用，以强大的文本处理能力著称。
• Ruby：语法简洁优美，常用于 Web 开发，特别是 Ruby on Rails 框架，能够快速开发 Web 应用。

3.1.3 数据库查询语言

• SQL（结构化查询语言）：用于管理和操作关系型数据库，如查询数据、插入数据、更新数据和删除数据等。常见的数据库系统如 MySQL、Oracle、SQL Server 都支持 SQL。

3.2 标记语言

• HTML（超文本标记语言）：用于创建网页的标准标记语言，通过各种标签来定义网页的结构和内容。
• XML（可扩展标记语言）：设计用于传输和存储数据，它具有良好的可扩展性，允许用户自定义标签。常用于数据交换、配置文件等，例如在 Web 服务中传输数据。
• Markdown：一种轻量级标记语言，语法简洁，易读易写，常用于撰写文档、博客文章等。
• LaTeX：文档排版系统。主要用于科技和学术文档的排版，能够生成高质量的数学公式、图表和参考文献等。在学术论文、书籍出版等领域广泛应用。基于Tex（基础排版系统）开发的宏包集合。
• BibTex：文献管理工具。一种专门用于处理参考文献的标记语言，使用简单的文本格式来描述参考文献的信息，通过特定的字段和关键字来标识不同的文献属性，如作者、标题、年份、期刊名称等。BibTex并非基于Tex开发的，它有自己的语法规则，但开发目的是为了辅助Tex或者LaTex更好的工作。
• SVG（可缩放矢量图形）：用于描述二维矢量图形的标记语言，图像可以无损缩放，常用于网页中的图标、图形绘制等。

注： 本文持续更新中。转载等均用于学习用途，若有侵权请联系删除。