Python一些可能用的到的函数系列113 shard分片计算

最新推荐文章于 2025-05-13 16:49:14 发布

原创最新推荐文章于 2025-05-13 16:49:14 发布 · 257 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #哈希算法 #开发语言

可能的函数专栏收录该内容

106 篇文章

订阅专栏

本文介绍了MongoDB中两种常见的分片策略：Range规则与Hash规则，并提供了具体的Python实现函数。Range规则适用于数值型字段，通过设定起始点与步长进行分片；Hash规则则对字段进行取模运算，实现数据的均匀分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明

辅助在mongo中的分片操作。根据某些规则，从某个字段计算出对应的存储分片。

内容

1 规则

规则1：Range规则。要求分片计算的字段是一个非空数值型，根据起点和步长自动计算分片。可以考虑以百万作为步长。
规则2：Hash规则。要求字段非空，然后根据分片数量进行取模。

2 函数

def range_shard(x, start_id =0, step = 1000000):
    return int( (x - start_id)//step)

range_shard(3999999)
---
3



import pandas as pd 
# 哈希分片
def hash_shard(x, shard_num = 100):
    if not isinstance(x,str):
        res = x % shard_num
    else:
        s_sum = pd.Series(list(x)).apply(ord).sum()
        res = s_sum % shard_num
    return res 

hash_shard(3)
3

hash_shard('ssd11dsafd32')
43