论文记录-Evolution of cooperation in stochastic games

综述

1. 阅读本文的原因：了解随机博弈中的合作
2. 本文研究目的：激励相容不满足时，会出现社会困境，本文用随机博弈和演化博弈分析当公共资源可变时个体的决策变化
3. 本文与我研究的相关性：是博弈论
4. 本文的潜在假设：公共资源可变，合作增加公共资源，而背叛则减少公共资源。
5. 本文研究方法：随机博弈和演化博弈
6. 本文研究结论：
   1. 公共资源对以往互动的依赖可以大大增强合作倾向。
   2. 互惠和回报反馈之间的相互作用至关重要：无论是在恒定环境中的重复交互还是在变化的环境中的单次交互都不会产生类似的合作率。
   3. 剥削与环境之间的反馈（无论是自然发生的还是设计的）有助于克服社会困境。
7. 是否进一步阅读：略读一下

Intro

1. 公地悲剧：公地作为一项资源或财产有许多拥有者，他们中的每一个都有使用权，但没有权利阻止其他人使用，而每一个人都倾向于过度使用，从而造成资源的枯竭。
2. 已有分析：公共物品博弈public goods game、集体风险困境collective-risk dilemma
3. 存在问题：假设公共利益在时间上保持不变，与之前互动的结果无关
4. 本文：人类影响公共资源的价值并受到公共资源价值的影响，并且他们能够预测并适应这种内生变化

随机博弈

一组玩家可以处于多种状态之一，不同的状态反映了当前的物理或社会环境如何影响玩家的可行行动及其回报。如下图a所示：在公共物品博弈中，如果一些玩家叛变，那么环境可能会恶化，从而降低公共物品的价值。如果所有人都合作，那么环境就会恢复，公共物品的原始价值也可能恢复。环境的不同状态对应着可以进行的不同博弈。

在b中，如果玩家的行动和当前的博弈唯一地决定了下一轮的博弈，那么这个随机博弈就是确定的。如果下一轮的博弈只取决于博弈者的行动，而不取决于当前的博弈（状态），那么这个博弈就是与状态无关的。因此，根据过渡是确定性的还是概率性的（其中p 和1-p 表示进行相应过渡的概率），以及它们是与状态无关还是与状态相关，我们将随机博弈分为四种不同类型。我们注意到，即使只涉及确定性过渡的博弈也被称为 “随机 “博弈，因为它代表了该框架的一种特殊情况。

在某些情况下，博弈者的策略和环境的共同演化会导致合作者和叛逃者之间的振荡。但如果合作者在任何环境中都处于劣势，环境反馈就无法有效阻止合作者灭绝。一次性模型假定博弈者在进行策略选择时只考虑当前的收益。而在随机博弈中，博弈者会从长远角度考虑问题。为了找到最佳策略，他们需要考虑自己的行动会如何影响对手的反应以及未来的环境状况。正如我们所展示的，互惠和回报反馈之间的相互作用对于合作至关重要。

本文博弈模型

传统上，随机博弈的研究考虑可以采用任意复杂策略的理性玩家，但不关注玩家如何调整策略的动态。我们引入了随机博弈的进化视角。玩家不需要理性行动，而是尝试可用的策略并根据成功情况模仿其他策略。

我们首先研究具有两种状态的随机博弈，每个个体使用纯粹的“记忆”策略，即玩家的行动仅取决于当前状态和上一轮的结果。该博弈中，每一轮开始时公共资源会在参与者之间重新分配。合适的参数会使得合作所对应的博弈比背叛所对应的博弈更好，模拟表明，这种反馈可以显着促进合作。对于合理的参数，随机博弈群体很快就会适应充分合作。

当参数满足一定条件时，该博弈会稳定出现合作，这意味着合作的稳定性取决于参与者决策下状态如何变化。为了探究更具体的关系，本文进行了更多参数的模拟。同时也发现增加概率性转变更有助于促进合作。

接下来我们探讨博弈收益和策略选择之间的理想反馈。我们考虑一个有四个玩家和五个状态的随机博弈。一小部分参与者的背叛会对合作收益产生直接、渐进或延迟的负面影响，或者没有影响。当负面影响是立即产生时，合作率最高，直观的解释是：如果游戏者在最有价值的游戏中合作的积极性最高，则合作率最高。而即便是延迟的负面影响，也比完全没影响能带来更高的合作率。当五个状态下合作的收益都很高时，合作率最低。

总结

我们引入了一个概念，即在不同的回合中，博弈的回报会发生变化。我们探讨了合作会导致下一轮游戏更有价值，而叛逃会导致下一轮游戏价值更低的情况。我们发现这种情况会明显促进合作。在由此产生的随机博弈中，即使合作在所有个体重复博弈中都不成功，合作也能占上风。我们的观察结果表明，自然发生或设计的反馈可以促进合作。如果叛逃导致环境（迅速）恶化，就可以避免公地悲剧。同样，如果当前的合作有希望获得更高的收益，那么合作也会得到促进。

论文中的数据应该是matlab仿真得到的。