作者：新智元
来自东京大学的Suspicion Agent运用GPT-4，在不彻底信息博弈中体现出了高阶的心智理论能力（ToM）。
在彻底信息博弈中，每个博弈者都知道一切信息要素。
但不彻底信息博弈不同，它模仿了现实世界中在不确定或不彻底信息下进行决议方案的杂乱性。
GPT-4作为目前最强壮模型，具有特殊的常识检索和推理能力。
但GPT-4能否运用已学习到的常识进行不彻底信息博弈？
为此，东京大学的研讨人员引入了Suspicion Agent这一立异智能体，经过运用GPT-4的能力来执行不彻底信息博弈。
论文地址：https://arxiv.org/abs/2309.17277
在研讨中，依据GPT-4的Suspicion Agent能够经过恰当的提示工程来完成不同的功用，并在一系列不彻底信息牌局中体现出了卓越的习惯性。
最重要的是，博弈过程中，GPT-4体现出了强壮的高阶心智理论（ToM）能力。
GPT-4能够运用自己对人类认知的了解来猜测对手的思维过程、易理性和举动。
这意味着GPT-4具备像人类相同了解别人并有意影响别人的行为。
同样的，依据GPT-4的智能体在不彻底信息博弈中的体现也优于传统算法，这或许会激发LLM在不彻底信息博弈中的更多应用。
01 练习办法
为了让LLM能够在没有专门练习的情况下玩各种不彻底信息博弈游戏，研讨人员将整个任务分解为下图所示的几个模块，如调查解说器、游戏形式剖析和规划模块。
并且，为了缓解LLM在不彻底信息游戏中或许会被误导这一问题，研讨人员首要开发了结构化提示，帮助LLM了解游戏规矩和当前状况。
关于每种类型的不彻底信息博弈，都能够编写如下结构化规矩描绘：
一般规矩：游戏简介、回合数和投注规矩；
动作描绘：（动作 1 的描绘）、（动作 2 的描绘）......；
单局输赢规矩：单局输赢或平局的条件；
输赢回报规矩：单局输赢的奖赏或赏罚；
整局输赢规矩：对局数和整体输赢条件。
在大多数不彻底信息博弈环境中，博弈状况通常表明为初级数值，如单击向量，以便利机器学习。
但经过LLM，就能够将低层次的博弈状况转换为自然言语文本，然后帮助形式的了解：
输入说明：接收到的输入类型，如字典、列表或其他格局，并描绘游戏状况中的元素数量以及每个元素的名称；
元素描绘：（元素 11 的描绘，（元素 2 的描绘），....
转换提示：将初级游戏状况转换为文本的更多攻略。
在不彻底信息博弈中，这种表述办法能更容易了解与模型之间的交互。
研讨人员引入了一种虚无规划办法，该办法具有一个Reflexion模块，旨在自动检查对局前史，使LLMs能够从前史经验中学习和改善规划，以及一个单独的规划模块，专门用于做出相应的决议方案。
但是，虚无的规划办法往往难以应对不彻底信息博弈中固有的不确定性，尤其是在面临长于运用别人战略的对手时。
受这种习惯性的启示，研讨人员设计出了一种新的规划办法，即便用LLM的ToM能力来了解对手的行为，然后相应地调整战略。
02 试验定量评价
如表1所示，Suspicion Agent优于一切基线，并且依据GPT-4的Suspicion Agent在比较中获得了最高的均匀筹码数。
这些发现有力地展现了在不彻底信息博弈范畴选用大型言语模型的优势，一起也证明晰研讨提出框架的有效性。
下图表明晰Suspicion Agent和基线模型的举动百分比。
能够调查到：
Suspicion Agent vs CFR：CFR算法是一种保存战略，它倾向于保存，经常在持有弱牌时弃牌。
而Suspicion Agent成功辨认了这一形式，并战略性地挑选更频繁地加注，向 CFR 施加弃牌压力。
这使得即便Suspicion Agent的牌很弱或与CFR的牌相当的情况下，它堆集了更多筹码。
Suspicion Agent vs DMC：DMC依据搜索算法，选用了更多样化的战略，包括故弄玄虚。它经常在自己手牌最弱和最强时都会加注。
作为回应，Suspicion Agent依据自己的手牌和调查到的DMC的行为，削减了加注频率，并更多地挑选跟注或弃牌。
Suspicion Agent vs DON：DON算法的立场更加急进，几乎总是用强牌或中级牌加注，从不弃牌。
Suspicion Agent发现了这一点，并反过来尽量削减自己的加注，更多地依据公共牌和DON的举动挑选跟注或弃牌。
Suspicion Agent Vs NFSP：NFSP体现出跟注战略，挑选总是跟注并从不弃牌。
Suspicion Agent的应对办法是削减加注频率，并依据公共牌和NFSP调查到的举动挑选弃牌。
依据上述剖析成果，能够看到Suspicion Agent具有很强的习惯性，能够运用其他各种算法所选用战略的弱点。
这充分说明晰大言语模型在不完美信息博弈中的推理和习惯能力。
03 定性评价
在定性评价中，研讨人员在三个不彻底信息博弈游戏（Coup、Texas Hold'emLimit 和 Leduc Hold'em）中对Suspicion Agent进行了评价。
Coup，中文翻译是政变，这是一种纸牌游戏，玩家扮演政治家，试图推翻其他玩家的政权。游戏的目标是在游戏中存活并堆集权利。
Texas Hold'em Limit，即德州扑克（有限注），是一种十分盛行的扑克牌游戏，有多个变体。「Limit」表明在每轮下注中有固定的上限，这意味着玩家只能下固定数额的赌注。
Leduc Hold'em是则是德州扑克的一个简化版别，用于研讨博弈论和人工智能。
在每种情况下，Suspicion Agent手中有一张Jack，而对手要么有一张Jack，要么有一张Queen。
对手最初挑选跟注而不是加注，暗示他们手牌较弱。在普通方案战略下，Suspicion Agent挑选跟注以查看公共牌。
当这提醒出对手手牌较弱时，对手敏捷加注，使Suspicion Agent处于不稳定的局势，由于Jack是最弱的手牌。
在一阶理论心智战略下，Suspicion Agent挑选弃牌，以最小化丢失。这个决定是依据调查到对手通常在手中有Queen或Jack时才跟注。
但是，这些战略未能充分运用对手手牌的估测弱点。这一缺点源于它们不考虑Suspicion Agent的行为或许怎么影响对手的反响。
相比之下，如图9所示，简略的提示能够让Suspicion Agent了解怎么影响对手的举动。有意挑选加注会给对手带来压力，促使他们弃牌并最小化丢失。
因而，即便手牌的强度相似，Suspicion Agent也能够赢得许多竞赛，然后比基线赢得更多的筹码。
此外，如图10所示，在对手跟注或回应Suspicion Agent的加注情况下（这表明对手手牌强壮），Suspicion Agent就会敏捷调整战略，挑选弃牌以避免进一步丢失。
这显现了Suspicion Agent的出色战略灵活性。
04 融化研讨与组件剖析
为了探索不同阶ToM感知规划办法怎么影响大型言语模型的行为，研讨人员在Leduc Hold'em和plaagainst CFR进步行了试验和比较。
图5中展现了选用不同ToM水平规划的Suspicion Agent的举动百分比，并在表3中展现了筹码收益成果。
表3：Suspicion Agent在运用不同级别ToM与CFRonLeduc Hold'em环境对弈时的比较成果以及100局游戏后的量化成果
能够调查到：
依据Reflexion modulevanilla规划在对局过程中倾向于更多地跟注和过牌（在对阵CFR和DMC时跟注和过牌比例最高），这无法施加压力使对手弃牌，并导致许多不必要的丢失。
但如表3所示，vanilla方案的筹码收益最低。
运用一阶ToM，Suspicion Agent能够依据自己的牌力和对对手牌力的估量做出决议方案。
因而，它加注的次数会多于普通方案，但它弃牌的次数往往多于其他战略，意图是尽量削减不必要的丢失。但是，这种慎重的办法会被精明的对手模型所运用。
例如，DMC经常在拿着最弱的一手牌时加注，而CFR有时甚至会在拿着中级牌时加注，以对Suspicion Agent施加压力。在这些情况下，Suspicion Agent的加倍倾向会导致丢失。
相比之下，Suspicion Agent更拿手辨认和运用对手模型的行为形式。
具体来说，当CFR挑选过牌（通常表明手牌较弱）或当DMC过牌（表明其手牌与公共牌不一致）时，Suspicion Agent会以故弄玄虚的办法加注，诱使对手弃牌。
因而，Suspicion Agent在三种规划办法中体现出最高的加注率。
这种急进的战略让Suspicion Agent即便手持弱牌也能堆集更多筹码，然后最大限度地提高筹码收益。
为了评价后视调查的影响，研讨人员进行了一项后视调查不归入当前游戏的融化研讨。
如表4和表5所示，在没有后视调查调查的情况下，Suspicion Agent仍能保持其相关于基线办法的性能优势。
表4：比较成果表明晰在莱德克牌局环境中将对手调查成果归入对局前史的影响
表5：比较成果表明，当Suspicion Agent在 Leduc Hold'em 环境中与CFR对弈时，在对局前史中参加对手调查成果的影响。成果是运用不同种子进行100局对局后的输赢筹码，输赢筹码数从1到14不等
05 定论
Suspicion Agent没有进行任何专门的练习，只是运用GPT-4的先验常识和推理能力，就能在Leduc Hold'em等不同的不彻底信息游戏中战胜专门针对这些游戏练习的算法，如CFR和NFSP。
这表明大模型具有在不彻底信息游戏中取得强壮体现的潜力。
经过整合一阶和二阶理论心智模型，Suspicion Agent能够猜测对手的行为，并相应调整自己的战略。这使得它能够对不同类型对手进行习惯。
Suspicion Agent还展现了跨不同不彻底信息游戏的泛化能力，只是依据游戏规矩和调查规矩，就能够在Coup和Texas Hold'em等游戏中进行决议方案。
但Suspicion Agent也有着一定的局限性。例如，由于计算本钱约束，对不同算法的评价样本量较小。
以及推理本钱昂扬，每局游戏消耗接近1美元，并且Suspicion Agent的输出对提示的敏理性较高，存在hallucination的问题。
一起，在进行杂乱推理和计算时，Suspicion Agent的体现也不尽人意。
未来，Suspicion Agent将在计算效率、推理鲁棒性等方面进行改善，并支撑多模态和多步推理，来完成对杂乱游戏环境的更好习惯。
一起，Suspicion Agent在不彻底信息博弈游戏中的应用，也能够迁移到未来多模态信息的整合，模仿更实在的交互、扩展到多玩家游戏环境中。
参考资料：
https://arxiv.org/abs/2309.17277
此时快讯
【台湾“金管会”：JPEX涉案金额达数千万台币，已约谈代言歌手陈零九】10月15日消息，中国台湾“金管会”证实，有接获检举指JPEX在台非法招揽并提供事证，已将资料移给检调侦办。由于台湾受害人不少，目前金额达数千万元，调查局台北市调查处清查后，最近秘密约谈负责代言的歌手陈零九，案由是诈欺。
JPEX在台并无业务负责人，调查局以证人约谈陈零九（本名陈志豪）。陈零九供称，整件事情是滚石唱片经纪人刘柏良接洽，他只负责代言，自己也是受害人，调查局是否约谈刘柏良，还在评估。
调查局追查，陈零九代言费高达八位数，远超过一般市场行情，JPEX案爆发后，位于台北东区SOGO旁的公司，也人去楼空，公司大楼外贴有陈零九海报，受害者求偿无门，只能去调查局备案。陈零九是否完全不知情有待厘清，未来是否会从证人转列被告，视证据调查而定。
此前9月底消息，中国台湾“金管会”表示，对于JPEX在台湾非法招揽业务的动作，金管会已收到检举，并已把情资移给检调。
