10.演化博弈

null第8章 演化博弈第8章 演化博弈凤凰鸣兮，于彼高岗；梧桐生兮，于彼朝阳。 一群人鱼贯进入一个房间参加一个聚会，门口有多种不知道品牌的饮料，颜色也相差不大，每个人倒一杯饮料进入房间，最后，这几种饮料剩余的情况是怎么样的呢？ 游戏：每个人写一个1~100中的一个整数，最后，最接近平均数的2/3的人获得优胜。8.1 有限理性8.1 有限理性在新古典经济学和大多数的博弈论中都假定，人是追求收益最大化的，并且可以无误地选择最优反应战略。但很多人认识到人的真实理性是有限的。赫伯特·西蒙研究认为，如果人们在某一问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 有满意解时，就不会再去寻找最优解。 在经典博弈论中，假设参与人具有使自己支付最大化的主观意识与对于对手策略的最优反应能力，在实际中，这种假设可能是不现实的。譬如在“象棋”中，棋手不可能在每一步都能够采取最优的反应行动。因而有必要把参与人的完全理性行为假设推广为不完全理性行为的假设。null在演化博弈中，认为参与人的选择行为可以依据前人的经验、学习与模仿他人行为、受遗传因素的决定等。因而演化博弈把具有主观选择行为的参与人扩展为包括动物、植物在内的有机体，动植物参与者的支付可被了解为某种适应程度。把博弈论的分析与应用从研究人类的竞争行为扩展为研究有机体的策略互动关系。这个领域的开创性工作是由英国生物学家约翰·梅纳德·史密斯（John Maynard Smith）和G.R.普里斯（G.R.Price）1973年进行的。演化博弈现在正逐渐被广泛应用于社会经济学领域。null经典博弈中的完全理性与现实相差太远。众多人类行为表现出人的理性是有限的，由于受认知能力的限制，有限理性的人类通常是根据习惯、常规以及经验法则行事，人类不可能如博弈论所描述的那样，通过复杂的计算获得最佳反应战略。但是，人类懂得学习，通过学习来比较，纠正错误，所以说，人类又是理性动物。从某种意义上来说，人类的学习和生物的演化没有本质区别，将进化论思想引入到博弈论，形成了演化博弈论。 1973年，约翰•梅纳德•史密斯（John Maynard Smith）提出演化博弈论。null爱克斯罗德以竞赛的方法，让持不同策略的对手把策略编成程序，在计算机上轮流相遇，反复进行囚徒困境博弈模拟的循环赛，并累计各自得分，以别胜负。这样的竞赛进行了两次。 第一次参赛的有15种策略，分别出自经济学、心理学、社会学、政治学和数学领域的专家。循环赛的结果出人意料——获得冠军的是 “针锋相对”（TFT）策略。这个策略是以诚信开始，然后跟踪对方上一步的策略，以诚信回报诚信，以欺骗报复欺骗。得分名列前茅的程序有如下三个特点：①从不首先选择欺骗，即策略是“善良的”；②对于对方的欺骗一定要报复，即“可激怒的”；③不能人家一次背叛，就没完没了地报复，以后只要人家改过，也要合作，即“宽容的”。 第二次比赛吸引了来自6个国家的63个程序参加，比赛结果，第一名仍是TFT策略程序。这一次，艾克斯罗德又进行了 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf ，发现在63个程序中的前15名，只有第8 名的程序是“不善良的”（或者说是“恶意的”），而后15名中只有一个是“善良的”。而前面总结的三个特点仍然有效，可激怒性和宽容性也得到了证明。在这里还有一个启示：TFT策略的成功是以对方成功为基础的，选择TFT的选手，在与某一个对手博弈时，得分不可能超过对手，最多是与对手打个平手，但他的总分最高。他赖以生存的基础很牢固，因为他让对手得了高分。null关于信任博弈 Berg等人于1995年首先对信任博弈进行了研究，假设两个参与者P（提议者，Propose）和R（响应者,Responder），P首先从实验组织者那里得到数量为m的钱，然后自行决定把数额为x的钱交给R（0 ≤ x ≤ m）。实验者再把3x的钱奖励给R。最后，R可以自由返回给P数额为y的钱。根据逆向归纳法，实验的结果应该是：不管P给了R的x是多少，R的最优策略是y=0，因此P的最优策略应该是x＝0。但实验的实际结果完全不是这样，大部分的提议者总会把一定数量的钱交给R,而大部分的R也会把一部分奖励分给P，而且，x和y之间有很强的正相关。8.2 引例：鹰鸽博弈8.2 引例：鹰鸽博弈1、鹰鸽博弈 鹰鸽策略模型是博弈中的一个经典模型。为了争夺资源（比如土地、食物、政权、配偶等），群体中的成员之间要进行斗争，设每个成员为博弈中的局中人，局中人可以采取两种策略，一种是恶意的强硬进攻策略“攻击对方”（不顾一切争斗下去，直到一方失败退出竞争为止），称之为“鹰策略”，用“H”表示；另一种是善意的平和宽容策略“和平相处”（允许对方分享利益，不主动争斗，在对方进攻时只是虚张声势地吓唬一番，一旦争斗起来，为避免两败俱伤，采取退让策略，但也可能给予一定的报复），称为“鸽策略”，用“D”表示。 2、假设有一群鸟，一部分（25%）采用H，另一部分（75%）采用D，其支付矩阵如下表1。由于是一群鸟在博弈，那么每只鸟的每次博弈碰到另一只鸟采用H策略的概率就有25%，而碰到采用D策略的鸟的概率为75%，这样可以计算期望收益。假定z为鹰在整个种群中的比例（这里为0.25）。因此（1-z)即为鸽子所占的比例。鹰的收益期望为： EV(H)=(-25z)+14(1-z)=14-39z 而鸽子的收益期望为： EV(D)=(-9z)+5(1-z)=5-14z 这里，EV(H)=4.25, EV(D)=1.5 。由于是一群鸟在博弈，那么每只鸟的每次博弈碰到另一只鸟采用H策略的概率就有25%，而碰到采用D策略的鸟的概率为75%，这样可以计算期望收益。假定z为鹰在整个种群中的比例（这里为0.25）。因此（1-z)即为鸽子所占的比例。鹰的收益期望为： EV(H)=(-25z)+14(1-z)=14-39z 而鸽子的收益期望为： EV(D)=(-9z)+5(1-z)=5-14z 这里，EV(H)=4.25, EV(D)=1.5 。种群收益与种群的繁殖是成比例的，所以两个种群都会不断增长。 显然，鹰的增长速度要快于鸽子。这样，鹰和鸽子的比例就会改变，最后，鹰和鸽子的比例会是多少呢？这就是一个演化战略，即ESS.8.3 最优反应动态8.3 最优反应动态1、协调博弈的快速学习模型（表2） 这个博弈称为协调博弈（coordination game）,有两个NE：（A,A),(B,B)。后者明显帕累托由于前者。通常的预测结果是(B,B)。 如果考虑风险因素，那么前者是更好的预测。 由于现实中的理性是不完全的，因此要在有限理性的基础上来分析这个模型。 2、博弈方能够对上一阶段的结果进行总结，对策略进行调整。这种学习和调整策略的方式，就是“最优反应动态”（Best Response Dynamics）的思路或者说学习调整机制。null假设有5个局中人环山而居，如图1。每个人都与左右邻居反复博弈。 由于每个人是有限理性的，所以，第一次可能既采用A，也可能采用B策略。初次博弈总共有32种情况（？），右边给出了两种情况。32种中有不少实质上是相同的，根据采用A策略的数量和分布，总共有“0A”、 “1A”、 “2A相邻”、 “2A不邻”、 “3A相连”、 “3A不相连”、 “4A”、 “5A”共8中情况。 5个局中人从各种可能的初次博弈情况出发，在反复学习调整过程中，最终结果会怎么样？是否初始博弈的情况不同，收敛性和稳定状态也会不同null假设 xi(t) 为在t 时期的邻居中 i 采用策略 A 邻居的数量，该数量有0、1、2三种可能。采用B 邻居的数量相应为2- xi(t) ，也有0、1、2三种可能。针对第t期的情况， i 采用A的得益为: xi(t) *50+[2-xi(t)]*49= xi(t)+98 ， 采用B则得益为: xi(t) *0+[2-xi(t)]*60= 120-60xi(t)。 因此根据最优反应动态机制，当 xi(t)+98 ＞120-60xi(t) 时，即 xi(t) ＞22/61,局中人 i 在 t+1 期会采用 A ; 而当 xi(t)＜22/61 时，会采用 B 策略。 由于xi(t) 只能取0、1、2，所以，i 在t期，如果邻居中有采用A的，下一期也采用A，如果没有，下一期就采用B。这里i在下一期采取的策略跟上一期没有关系。 5个局中人都适应上述规则，所以，初次博弈为“0A”时，以后都还是采用B策略；而其余的各种情况，经过或多或少时期的最优反应动态法则的调整，最终都会收敛到所有局中人都采用A的稳定状态。（可以对前面2种情况演练一下） 8.4 复制动态和演化稳定性： 两人对称博弈 8.4 复制动态和演化稳定性： 两人对称博弈有限理性博弈方有多种不同的理性层次，学习的速度差别也很大。最优反应动态是具有较快学习速度的有限理性博弈方的策略调整和策略稳定性。下面讨论学习速度较慢的动态策略调整及其稳定性。 分析框架是这种博弈方组成的大群体成员的随机配对反复博弈。这一节讨论群体中博弈方是相似的，即进行的博弈是博弈位置无差异的两人对称博弈。下一节讨论群体成员是有差异的，进行非对称博弈的情况。根据上述收益得到复制动态方程： dx/dt = x (R1 - Ra) =x(1-x)[(a-b-c+d)x+(b-d)]. 令：dx/dt=F(x) F(x)为x的单元函数。根据上述收益得到复制动态方程： dx/dt = x (R1 - Ra) =x(1-x)[(a-b-c+d)x+(b-d)]. 令：dx/dt=F(x) F(x)为x的单元函数。1、一般两人对称博弈的复制动态和ESS 如表3是一个简单的2*2对称博弈，如果不给出收益的具体数值，该博弈有哪些NE并不清楚。考虑该博弈的有限理性问题，对于有限理性的博弈方来说，能否知道NE并不重要，不管是否NE策略，任何策略都可能有部分博弈方会采用。 在一个群体中，有比例为x的人采用策略1，（1-x）的人采用策略2。采用两种策略的博弈方的期望收益和群体平均收益分别为： R1 = x*a +(1-x)b ① R2 = x*c +(1-x)d ② Ra = xR1 +(1-x) R2 ③ null因为F(x) =x(1-x)[(a-b-c+d)x+(b-d)]，该复制动态最多有3个稳定状态，分别为x＊=0、 x＊=1、 x＊=（b-d)/(a-b-c+d)。 一个稳定状态必须对微小扰动具有稳健性才能称为进化稳定策略。这相当于要求当干扰使x出现高于x＊时， dx/dt=F(x) 必须小于0，即F’(x＊) ＜0 。这就是微分方程的稳定性定理。 如 F(x) =x(1-x)(1-6x) ，不难解出x＊=0、 x＊=1、 x＊=1/6。 进一步证明，只有1/6才是ESS。因为F’(1/6) ＜0 ,而F’(0) ＞0 , F’(1) ＞0 。根据图2也可以看出只有1/6才是进化稳定策略。 null2、蛙鸣博弈的复制动态和ESS “黄梅时节家家雨，青草池塘处处蛙”，青蛙为什么鸣叫呢？为什么有的青蛙叫，有的不叫呢？演化博弈强调与生物进化论的关系，这里把青蛙特定器官、行为的进化作为一般2*2对称博弈进行分析。 现代青蛙演变成了雄蛙能够非常响亮地鸣叫，而雌蛙则有相当好的听力。雄蛙之所以如此热衷于“歌唱”，当然不是要给人类提供免费的音乐会，而是为了获得更多的交配和繁殖后代的机会，把自身的基因最大限度的遗传下去。 “歌唱”相当于竞赛，但“歌唱”也要成本的，一是要耗气力，消耗能量；二是可能给天敌发现的机会。另外，雄蛙在鸣叫上还存在“搭便车”现象。在这个博弈中，鸣叫的雄蛙并不总是获利较多的，因此现实中的雄蛙既有鸣叫的，也有不叫的。 所以，我们还可忍受青蛙的“歌唱”，也才会写出上面这样优美的诗句。（后两句是什么？）null假设在某一范围内有2只雄蛙。如果都不叫，雌蛙不来，都没有交配的机会；如果1只叫，会吸引1只雌蛙，2只雄蛙都有获得交配的机会，但机会不一样，叫的机会为m，0.50，但p-z<1-m仍然成立，则存在两个NE，还存在一个混合NE。最后，如果m-z>0,p-z>1-m，则都鸣叫为NE。结果可归结为m和z坐标平面中的几个不同区域（图3）。null当然，通常不会认为青蛙有进行如此复杂推理分析、最优选择的能力。要更好的反映和理解青蛙鸣叫的进化过程，只能根据基本上没有理性要求，从本能作用下分析。 重新从上面的收益矩阵出发，利用复制动态机制，得到： F (x) = dx/dt =x(1-x)[(p-z-1+m)x+(1-x)(m-z)]null根据复制动态方程，很容易求出3个稳定状态点。 x＊=0、 x＊=1、 x＊=(m-z)/(1-p). （1）当0<(m-z)/(1-p)<1时，即m>z和p-z<1-m同时成立,上述3个稳定状态都是合理的，因为都处于0≤ x ≤ 1的有效范围。相位图如图2。但只有是x＊=(m-z)/(1-p)演化稳定策略。这意味着如果上述由环境条件等决定的蛙鸣的利益关系是稳定的，那么一旦发生少数雄蛙从不叫到鸣叫的变异，那么这种变异雄蛙的数量会不断增加，知道占整个雄蛙数量的(m-z)/(1-p)。如果超过这个水平，那么少量不叫的变异又会在种群中扩散，因为此时不叫的“搭便车”的机会和利益比较大，最终仍会回到上述比例。 （2）当(m-z)/(1-p)<0时，即m 1时，即m-z>1-p，也只有x＊=0、 x＊=1两点， x＊=1为ESS。（是画出相位图）8.5 复制动态和演化稳定性： 两人非对称博弈8.5 复制动态和演化稳定性： 两人非对称博弈如果一个群体中成员之间的地位不一样，那么博弈方之间进行就是非对称博弈。 非对称博弈是用两个（或多个）有差别的有限理性博弈方群体的成员，相互之间随机配对博弈。 以市场阻入博弈为例（如图4，表6）。null由于是非对称博弈，问题中实际上有两个不同的博弈方，博弈方1是潜在的进入者，博弈方2是阻入者，每次博弈实际都是前一群体的一个成员与后一群体的一个成员进行的。 分析框架：反复在两个群体中各随机抽取一个成员配对进行。博弈方的学习和策略模仿局限在他们所在群体内部，策略调整的机制仍然是与对称博弈中相似的复制动态。 分别对两个群体成员进行复制动态和演化稳定策略分析。 假设博弈方1中，采用“进入”策略的占的比例为x；在博弈方2中，采用“打击”策略的占的比例为y。null（1）博弈方1的收益计算 设“进入”、“不进”两类博弈方的期望收益以及平均收益分别为u1e、u1n、u1a： u1e= y*0 +(1-y)*2 =2(1-y) u1n= y*1 +(1-y)*1 =1 u1a = x u1e +(1-x) u1n =2x(1-y)+(1-x) （2）博弈方2的收益计算 设“打击”、“容忍”两类博弈方的期望收益以及平均收益分别为u2s、u2n、u2a： u1e= x*0 +(1-x)*5 =5-5x u1n= x*2 +(1-x)*5 =5-3x u1a = y u2s +(1-y) u2n =5-2xy-3xnull(3)博弈方1的复制动态方程为 dx/dt = x (u1e – u1a)=x(1-x)(1-2y) (4)博弈方2的复制动态方程为 dy/dt = y(u2s – u2a)=y(1-y)(-2x) 先对博弈方1的复制动态方程分析：若 y=1/2，那么dx/dt始终为0，这意味着所有x水平都是稳定状态；若y≠1/2，则x＊=0、 x＊=1，是两个稳定状态，其中y>1/2时， x＊=0是ESS，y<1/2时， x＊=1是ESS。（如图5） 再对博弈方2的复制动态方程分析：若 x=0，那么dy/dt始终为0，这意味着所有x水平都是稳定状态；若x≠0 (此时必然x>0)，则y＊=0、 y＊=1，其中y＊=0是ESS。（如图6）null图5（上）、图6（下）演化博弈思考演化博弈思考人类博弈不同于生物博弈 演化博弈是模仿生物进化过程的，忽视了人类与一般生物的区别，忽视了人类教化的作用，生物进化的过程可以看作是自利理性的作用，但人类不同，人具有社会性。生物学家迈尔在断言没有任何证据支持动物的群体选择时，还偏偏认为群体选择理论适合于人类，其根据是人类文化的进入。对于人类来说，社会理性并不一定是演化稳定策略的结果，不能用ESS来说明。如果人类社会进化的机制与一般生物群进化的机制相同，那么，为什么非洲草原上的斑马群不能进化成人类这样的社会呢？ Axelrod实验的解释 Axelord本人以及后来很多学者都是从演化的角度分析该实验，并且以生物界低等动物、植物之间合作的例子来说明。但是，无法回避的恰好是为什么生物界的合作水平非常低，而人类的合作水平非常高呢？ TFT策略会取得成功，一个重要原因就是程序背后是现实的人，程序反映的是现实的人（程序 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 员）的意识，每个程序体现了程序员的自己的意志，而不同的意志反映了不同参赛选手社会理性的差异。 《关于信任的博弈分析》 《个体二元理性假设下博弈模型及仿真分析》时事：哥本哈根博弈时事：哥本哈根博弈1、什么叫碳排放？ 2、什么叫碳排放交易？ 规定全球每年的碳排放量的总量水平，各个国家按比例分配给予一定的排放量。如果你的排放量比分配的要少，你就可以把你剩余的排放量出售，而如果你的排放量要超标，你就要向那些有剩余的国家购买。这就是碳排放交易，这一套系统称之为“帽子和交易”（cap and trade）。 3、发展过程 1990年美国总统签署《洁净空气法修正案》，从1995年开始，美国的企业和个人就开始买卖二氧化硫的排放权，芝加哥期货交易所的年度拍卖会上正式出现这项交易。这个市场到2000年已达到30亿美元。 《京都议定书》规定了碳信用（carbon credit），开启了全球碳排放的序幕，这个市场最终可达到1000亿美元。森林保护博弈森林保护博弈1、问题：森林的价值=她所包含的全部的每一棵树的价值和？ 砍伐树木可以获得收益，但维护森林却没有进账。全球市场仅对短期回报感兴趣，长期回报则无人问津，这就导致了世界上最大的生态系统沦落为单一产品的提供者。人类正在为一根根木头而毁掉一片片森林。 2、森林的作用 森林可以保持水土，调剂洪水和干旱，还可以“固碳”，所以，利用森林可以减少碳排放而让森林的长期作用进入市场。因为森林能够吸收二氧化碳，所以投资种植森林就可以获得碳信用。这样，就可以把森林的价值通过碳排放交易体现出来。即使一个国家的工业不发达，她可以通过保持她的森林资源而出售碳排放权，获得收益。这就是碳排放贸易。null（1）过去50年中，澳大利亚的森林减少了一半，以前的政策：谁开垦，谁拥有。澳大利亚新南威尔士州立法机构于1998年11月，借鉴全球第一部“碳权利”法规，颁布了新的法规，规定森林的所有者可以出售他们的碳权利，这与土地的所有权不同，而有点类似于木材权，史无前例的赋予了森林心的价值。悉尼期货交易所准备向碳权利的国际交易迈出一大步。 （2）北京房山青龙湖镇是我国第一个企业捐资建立的碳汇项目，由中石油通过中国绿色碳基金支持的。在这个地方按照碳汇规则来进行造林，进行计量，进行核证，生产的碳汇额度归中石油所有。 现在中国政府宣布通过政府要支持三个亿的资金，每年还给一定运行费进行林业碳汇项目建设。 （3）2007年9月，中国政府第一个在全世界发布了中国政府应对气候变化的国家 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。胡锦涛在今年联合国的气候会议上提出了四点倡议。其中一点是到2020年，森林的面积要比05年要增加4000万公顷。森林的蓄积量要增加13亿立方米。 （4）空气中的二氧化碳浓度已经很高了，已经380个PPM，预测到2030年，将近500个PPM，只有森林才可以吸收。 气候变暖问题的由来气候变暖问题的由来1、1896年，瑞典科学家阿伦尼乌斯指出，工业性排放二氧化碳将导致全球变暖。 2、20世纪90年代开始，每年平均向空中排放60亿吨二氧化碳，空气中的二氧化碳比工业革命前增加了30%。 3、2001年，联合国组织的全球顶尖科学家组成的“政府间气候变化委员会（IPCC）”评估，工业如果仍然这样发展，未来地球表面温度将比1990年上升6°C多，地球灾难性风暴、干旱和洪水将更加频繁，蚊蝇将会肆虐。 4、1997年，各工业大国汇聚日本京都，《京都议定书》，同意在2012年前，把温室气体净排放量在1990年的基础上降低5.2%。既要控制大气中温室气体的含量，又不能导致经济的衰退，于是，新的更经济的想法产生了：让大公司通过投资林业和土壤改造，来赚取碳信用。null5、1999年，全球最大的电力公司—东京电力公司签约购买新种植 的松树和桉树的碳排放权，预计每年可吸收20~80万吨二氧化碳。 6、1989年，杜邦、荷兰皇家/壳牌集团公司、美洲电力和福特等工业巨头组成了“全球气候联盟（GCC）”，害怕企业盈利下降，御用一些科学家，伪造数据，质疑全球气候变暖，游说政府，抵制京都议定书。到现在，在全球绿色组织的声浪下，也不得不改变态度。 7、近来一批新兴的对社会负责的投资公司和分析师开始追踪企业的三维表现：财务状况、社会效益和环境效益。 8、哥本哈根会议的分歧：控制排放是紧还是松？以前的排放如何补偿？现在的二氧化碳排放如何分配？低碳经济与生态文明低碳经济与生态文明1：每当我们听说什么生物圈厄运的时候，常常会觉得那一切似乎离我们相当遥远，只是发生在异国他乡什么稀奇古怪的雨林的事，与我们自己在郊外的家园、所在的社区、菜地以及农田都扯不上干系，跟超市中的农产品货柜，跟我们所吃的肉饼、喝的果汁也根本沾不上边。 ----布克曼（Stephen L. Buchmann)《被遗忘的授粉者》 2：美国的食品工业年产值8000亿美元。这个庞大的产业在极大的程度上依赖于21世纪的化学肥料、杀虫剂和基因技术而运转。然而，恐怕让绝大多数美国人想不到的是，他们的一日三餐，他们的幸福安康却完全仰仗于自然的各种昆虫才得以保全至今。蜜蜂和其他有翅类昆虫，有时甚至包括鸟类和蝙蝠，在花丛间飞舞，传播花粉。正是由于他们在植物之间的牵线搭桥、从中撮合，才使各种植物得以再生，繁衍至今。