protobuf原理

最近看了下protobuf，研究的版本还是比较老的2.6.1，最主要的原因是对protobuf能否压缩传输数据的原理感兴趣。写个博客记录一下，免得以后忘了。 先附上github的demo地址：https://github.com/aa5279aa/protobuff_androiddemo demo当中包含 1、客户端工程ProtobufClient，客户端通过注解进行反序列化 2、服务端...

类型Protobuf 类型编码方式适用场景VarintsBase128 变长小整数、非负数、枚举值Zigzag有符号整数（尤其是负数）固定 324 字节定长大整数（>28bit）、浮点数固定 648 字节定长极大整数（>56bit）、双精度浮点数长度分隔变长字符串、二进制数据、嵌套消息语法版本：proto3 语法需在文件首行声明，否则默认使用 proto2。示例语法// 必须以0开头（默认值）WEB = 1;IMAGES = 2;// 使用枚举字段注意。

Protobuf原理

Protobuf 的优点 Protobuf 有如 XML，不过它更小、更快、也更简单。你可以定义自己的数据结构，然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。只需使用 Protobuf 对数据结构进行一次描述，即可利用各种不同语言或从各种不同数据流中对你的结构化数据轻松读写。 它有一个非常棒的特性，即“向后”兼容性好，...

前言 之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。 在查阅相关资料学习 ProtoBuf 以及研读其源码之后，发现其在效率、兼容性等方面非常出色。在以后的项目技术选型中，尤其是网络通信、通用数据交换等场景应该会优先选择 ProtoBuf。 自己在学习 ProtoBuf 的过程中翻译了官方的主要文档，一来当然是在学习 ProtoBuf，二来是培养阅读英文文档的能力，三来是因为 Google 的文档？不存在的

1. protobuf概述1.1 protobuf工作原理1.2 为什么不采用XML?1.3 proto3简介1.4 protobuf的一点历史1.5 为什么是protbuf？2. protobuf的安装使用3. protobuf程序示例(C++版）4. 总结Protocol Buffers(也被称为protobuf)是Google开发的一种跨语言、跨平台、可扩展的用于序列化数据的机制，相比较XML和json格式而言，google protobuf更小、更快捷也更简单。

ProtoBuf 作为一种跨平台、语言无关、可扩展的序列化结构数据的方法，已广泛应用于网络数据交换及存储。随着互联网的发展，系统的异构性会愈发突出，跨语言的需求会愈加明显，同时 gRPC 也大有取代Restful之势，而 ProtoBuf 作为g RPC 跨语言、高性能的法宝，我们技术人有必要 深入理解 ProtoBuf 原理，为以后的技术更新和选型打下基础。 我将过去的学习过程以及实践经验，总结成系列文章，与大家一起探讨学习，希望大家能有所收获，当然其中有不正确的地方也欢迎大家批评指正。 本系列文章

ProtocolBuffer消息格式ProtocolBuffer编码原理

之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。 在查阅相关资料学习 ProtoBuf 以及研读其源码之后，发现其在效率、兼容性等方面非常出色。在以后的项目技术选型中，尤其是网络通信、通用数据交换等场景应该会优先选择 ProtoBuf。 自己在学习 ProtoBuf 的过程中翻译了官方的主要文档，一来当然...

最近刚刚从一家公司离职，在职的时候使用到了go语言的grpc库，了解了除了json之外的另一个专门用于远程调用的序列化工具protobuf。protobuf是Google开源的一款支持跨平台、语言中立的结构化数据描述和高性能序列化协议，此协议完全基于二进制，所以性能要远远高于JSON/XML。由于出色的传输性能因此常见于微服务之间的通讯，其中最为著名的是Google开源的 gRPC 框架，下面来谈一谈它的原理。protobuf将消息里的每个字段进行编码后，再利用T-L-V或者T-V的方式进行数据存储。

详细分析protobuf(以下简称pb)数据序列化Tag-WireType-Value方式，对VARINT、带符号整型的详细分析，分别对int32, int64, uint32, uint64, sint32, sint64, bool, enum，fixed64, sfixed64, double, string, bytes, embedded messages, packed repea...

protobuf编码原理 protobuf将协议缓冲区消息(message)编译压缩成二进制格式的文件。 当消息被编码时，键和值被连接成一个字节流，tag-value。 protobuf中message是一系列键值对，message的二进制版本只是使用字段号(field`s number和wire_type)作为key，key的后3位位表示的是wire_type。 每个字段的名称和声明类型只能在解码端通过引用消息类型的定义。如果没有数据结构描述.proto文件，拿到数据以后是无法解释成正常数据结构的。

一、原理 protobuf全称Google Protocol Buffers，是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库。它和XML或者JSON差不多，也就是把某种数据结构的信息，以某种格式（XML，JSON）保存起来，protobuf与XML和JSON不同在于，protobuf是基于二进制的。主要用于数据存储、传输协议格式等场合。那既然有了XML等工具，为什么还要...

Protobuf的编码是基于变种的Base128的，在学习Protobuf编码或者是Base128之前，先来了解下Base64编码。