tensorstore简单介绍

cjfeii

于 2023-10-13 10:42:10 发布

阅读量529

点赞数

CC 4.0 BY-SA版权

分类专栏： AI 程序设计文章标签： tensorstore tensorflow vector tensor ai

本文链接：https://blog.csdn.net/cjfeii/article/details/133805595

程序设计同时被 2 个专栏收录

52 篇文章

订阅专栏

2 篇文章

订阅专栏

概述

Library for reading and writing large multi-dimensional arrays.

主要特性

有如下几个：

提供统一的api用来读写多维array，包括：zarr、n5、Neuroglancer precomputed；
支持多种存储：谷歌云存储、本地、网络文件系统、内存存储；
支持读、回写cache，支持事务，并能保证较强的acid；
具备的并发性能够确保当许多机器访问同一个数据集时，并行操作的安全性；
实现上具备高性能，能充分利用多核cpu，以及存储的io带宽；
支持异步api，可以实现对高延迟远程存储的高吞吐访问；
高级、完全可组合的索引操作和虚拟视图。

和tensorflow的关系

几个数学概念

scalar-标量：a = 1
vector-向量：一维数组，比如：a[4] = [1, 2, 3, 4]
matrix-矩阵：二维数组：a[3][3] = [ [1, 2, 3], [4, 5, 6], [7, 8, 9] ]
tensor-张量：超过二维的多维数组，比如：a[2][2][2] = [ [ [1,2], [3, 4] ], [ [5, 6], [7, 8] ] ]

tensorflow和tensorstore的区别

tensorflow：机器学习框架，竞品有caffe、torch等；
tensorstore：多维数组的存储、读取的library。

Licence

Apache License, Version 2.0。

ref

tensorstore官网：https://google.github.io/tensorstore/
tensorstore：https://github.com/google/tensorstore
tensorflow：https://github.com/tensorflow/tensorflow