跟着杰哥学强化学习：多臂老虎机问题

多臂老虎机问题

现在有3台外观一模一样的老虎机，每个老虎机的赔率是不同的，摇动一次需要1块钱，现在给你100块钱，如何获取最大的收益。

如果我们知道了每个老虎的赔率，那么只要选择收益最高的那个老虎机就可以了，但现在问题是并不知道每个老虎机的收益。为了简单，我们假设老虎机的收益服从正态分布

我们没有办法找到老虎机，但是可以用python来进行模拟。

import numpy as np


class Arm:
    cls_n = 0
    cls_g = 0
    cls_avg_r = 0
    cls_glist = []

    def __init__(self, u=0, s=1):
        self.u = u # 均值
        self.s = s # 方差
        self.g = 0 # 累积平均收益
        self.n = 0 # 被选中的次数
        self.avg_r = 0

    def __call__(self):
        r = np.random.normal(self.u, self.s) # 当次收益
        self.cls_n += 1 # 总共摇老虎机的次数
        self.n += 1 # 被选中，次数加一
        self.g += r # 当前老虎机累计收益
        self.cls_g += r # 所有老虎机的累计收益
        self.avg_r = self.g / self.n # 当前老虎机的累计平均收益
        self.cls_avg_r = self.cls_g / self.cls_n # 累计平均收益
        self.cls_glist.append(self.cls_avg_r)
        return r, self.avg_r # 返回当次收益与历史累计的平均收益

贪心策略

一个非常直接的想法就是，每个老虎机都去摇一摇，然后看看各个收益，之后选择收益最高的那个就可以了。例如每个老虎机都摇10次，计算出每个老虎机的收益率，剩下的70次都去摇收益最高的那个就可以了。
$$\begin{gathered} Arm1=[r_1^1,r_1^2,r_1^3,r_1^4,r_1^5,r_1^6,r_1^7,r_1^8,r_1^9,r_1^{10}] \\ Arm2=[r_2^1,r_2^2,r_2^3,r_2^4,r_2^5,r_2^6,r_2^7,r_2 \end{gathered}$$