个人设想的冷热数据架构

最新推荐文章于 2024-07-14 22:40:48 发布

原创最新推荐文章于 2024-07-14 22:40:48 发布 · 344 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

24 篇文章

订阅专栏

文章目录

1、热数据 vs 冷数据
- 1.1、冷热转换
2、个人构想的【冷热数据自动转换】模型
- 2.1、Python真代码伪实现
3、个人构想的【冷热数据存储】模型

1、热数据 vs 冷数据

对比	热数据	冷数据
访问频度	常访问	不常访问
存放策略	放内存	放硬盘

e.g.
两个接近的商品【A：蛋黄酥】和【B：月饼】
假设A和B每年都被访问365次
A每天都被访问1次
B仅在中秋前被访问365次，其余时间几乎不被访问
于是认为：A是热数据，B是冷数据
对此，A应长期放内存，以便快速访问；B应长期放硬盘，在中秋前再放到内存

1.1、冷热转换

夏装和冬装具有季节性
夏季时，夏装成为热数据，冬装成为冷数据
冬季时，夏装成为冷数据，冬装成为热数据

2、个人构想的【冷热数据自动转换】模型

2.1、Python真代码伪实现

class Queue:
    def __init__(self, size=3):
        self.size = size  # 队列大小（内存大小）
        self.queue = []
        self.hot = {}
        self.cold = {chr(i + 97): i for i in range(26)}
        self.check_queue()

    def visit(self, x):
        """访问"""
        if x in self.queue:
            y = self.get_hot(x)
            del self.queue[self.queue.index(x)]  # 更新队列
        else:
            y = self.get_cold(x)
        self.queue.insert(0, x)  # 入队
        self.hot[x] = y
        if self.queue.__len__() > self.size:
            del self.hot[self.queue.pop()]  # 出队
        print(y)

    def get_hot(self, x):
        """访问热数据"""
        return self.hot[x]

    def get_cold(self, x):
        """访问冷数据"""
        from time import sleep
        print('冷数据查询有延迟。。。')
        sleep(1)
        return self.cold[x]

    def check_queue(self):
        """查看队列"""
        print('队列：{}'.format(self.queue))
        print('热数据：{}'.format(self.hot))
        print('冷数据：{}'.format(self.cold))


print('程序开始'.center(50, '-'))
q = Queue()
while True:
    a = input('输入一个字母：').strip()
    try:
        q.visit(a)
    except KeyError:
        print('查看队列状况')
        q.check_queue()