十三 鱼羊 发自 凹非寺
量子位 报道 | *** QbitAI

一个搞文本生成的模型,还能用来干嘛?

点击蓝字 / 关注我们

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图1)

公司简介:

好奇心很强的网友便拿OpenAI的GPT-2做了个实验。

原来,GPT-2除了能生成文本,竟然还能下象棋、做音乐!

湖南棋峰体育俱乐部有限公司成立于2020年,是 一家致力于国际象棋文化艺术事业推广的专业俱乐部。目前与三十多家中小学,幼儿园展开合作,分布长沙市 多个区域,培训学员超千人。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图2)△训练GPT-2下国际象棋

作者表示:

俱乐部开设“启蒙班”、“专业加强班”、“初级 班”、“中级班”、“高级班”和“竞赛班”,适合4  岁以上各种棋力水平的同学。

事实证明,只要让 GPT-2预测下一步棋,就可以训练它下国际象棋。

成功案例:

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图3)国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图4)

 国际象棋是分析的艺术。--鲍特维尼克Botvinnik

“在一项比赛中,一个国际象棋大师应该是一头攻击性的野兽和一个修道士的组合”—阿廖欣(Alekhine)

这只是花费了几天的小项目,但结果是相当令人兴奋。

“有一个似是而非的计划但是按照逻辑下棋,要比没有计划而盲目地下棋要好。”--柯尔契诺依(Kortchnoï)

除此之外,在更早的实验中,研究人员还发现GPT-2能作曲。

这也引起了网友们的热烈讨论。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图5)

“即使是一个很笨拙的计划,也要比根本没有计划要好些。”--奇果林(Chigorin)

“你需要找的不是一步棋,也不是一步最好的棋,而是一个可以付诸实施的计划。”--波罗夫斯基(Borovsky)

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图6)

“当你不知道如何是好的时候,就等你的对手拿主意吧,不妙的事肯定会发生。”——塔拉什

这简直太疯狂了,和玩得较差的人类尚可一搏。

“战术,是你有棋的时候可以下的棋。战略,是你没有棋可下的时候要做的事。”--塔尔塔科维(Tartacower)

GPT-2学会了下国际象棋,尽管它只是一种文本AI,但是还是能够从象棋符号文本的语料库中学习。

“最妙的是,对手有许多子可以吃,但是他每次却只能吃一个子。”--奥丁(Thierry Audin)

而且它对“棋盘”的概念一无所知。

不过,也有网友对此提出了质疑。

“即使对手下出了你先前分析过的棋,对于新的局面,最好还是重新进行分析。”--布卢蒙费尔德(Blumenfeld)的第一原理

“对于一个局面分析没有发现严重问题,那么,就走一步可能导致严重后果的棋。”--布卢蒙费尔德(Blumenfeld)的第二原理

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图7)

我有一种感觉,它只是在开局的较为配合,从第11步开始就输出无效的“招式”了。

“任何判断都需要不断的地重新审视。”--艾斯特林(Jacob Estrin)

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图8)

“国际象棋需要做出细腻的判断,要知道是攻击还是躲避。”--费舍尔(Fischer)

总的来说,这个技术看起来很糟糕,所以很难判断它对国际象棋有什么样的理解。

不过作为一个文本预测模型,在这样的游戏中能做出一些智能的举动,还是令人印象深刻的。

“在取得子力优势情况下,不要高兴太早。还是想想保护好自己的每一个子,补上漏洞,重新协调你的子力。然后再发动最后的攻击!”

那么,GPT-2下国际象棋、做音乐,到底是怎么一回事呢?

下象棋、做音乐,GPT-2成跨界选手

用GPT-2来下象棋,最开始大概只是一个娱乐项目。作者肖恩·普莱斯(Shawn Presser)只用了一周的时间就完成了Demo。

“许多人问塔尔是怎么做才赢棋的。实际上,这太简单了!他先把自己的子力放到棋盘的中央,然后在棋盘上找一个地方把它们弃掉!”--布龙斯坦(Bronstein)

之所以做出这样大胆的尝试,是因为他的胖友格温·布兰文(Gwern Branwen)不仅教会了GPT-2写诗:

“在快棋赛中,马比象更厉害。”--霍特(Vlastimil Hort)

美丽的湖,美丽的树林,(Fair is the lake, and bright the wood,)
垂满魅惑的花朵:(With many a flower-full glamour hung:)
美丽的浅滩,温柔的潮水(Fair are the banks; and soft the flood)
我们的舌头发出金色的欢笑。(With golden laughter of our tongue.)

“给我一个6线的马,我就能赢任何一盘棋。”--斯坦尼茨(Steinitz)

还让GPT-2写出了爱尔兰民歌:

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图9)

“把子力调动到一条开放线上,最高的目的是侵入第七线或者第八线,侵入敌人的心脏。”--尼姆佐维奇(Nimzovitch)


乍一听这个开头,甚至有点像孙燕姿的《遇见》。

实际上,布兰文是用Session & ABCnotation.com上的20多万首音乐作品对GPT-2模型进行了训练,这些作品将乐曲以字母文本的形式体现。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图10)

 “马要发挥它的威力,需要有前沿阵地!马是阻挡通路兵前进最有效的’绊脚石’”。

“要赢得一个胜局,这既是下棋人的老生常谈,又是很难实现的。这句话不是没有意义的,但是对我来说,我始终认为,想赢得一个败局,要更难些。”--克拉贝(Tim Krabbe)

“对局构思通过在战略通道上展开行动而实施,通常一系列的战术组合是否有效,起着决定性作用的。”--列蒂(Reti)

所以,能不能通过e2e4(将棋子从e2位置移动到e4位置)这样的国际象棋指令集来训练GPT-2,让这个文本生成模型学会下棋呢?

答案是:可以。

普莱斯发现,仅仅经过一个小时的训练,GPT-2 1.5B模型就表现出了国际象棋“天赋”。

(本文转自哈尔滨市北方棋馆)

虽然在下了几步棋之后,就会出现无效移动,但这次实验还是证明了,制造GPT-2国际象棋引擎并非不可能。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图11)△第9步出现无效移动

于是,普莱斯又用2.4M数据训练了GPT-2 1.5B模型一整天,模型有所进步:直到第14步,它才出现了bug。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图12)

接着,普莱斯“编写了一些代码以计算所有有效移动的概率”(作者并未作出具体解释),GPT-2可以将棋局推至残局了。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图13)

普莱斯已经把他的代码部署到了Colab上,如果你想试试这只会下棋的GPT-2棋商如何,可以亲身前往挑战:

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图14)

逆天的语言AI—GPT-2

去年2月,OpenAI发布了一个“逆天”的语言AI,名为GPT-2。

整个模型包含15亿个参数。

这个AI写起文章来文思泉涌毫无违和感,无需针对性训练就能横扫各种特定领域的语言建模任务,还具备阅读理解、问答、生成文章摘要、翻译等等能力。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图15)

然而,当时假***实在编的太真实,所以OpenAI说:我们不敢放出完整模型。

人类只给了它两句话的开头:

科学家们有个令人震惊的发现,在安第斯山脉一个偏远且没被开发过的山谷里,生活着一群独角兽。更加让人讶异的是,这些独角兽说着完美的英文。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图16)

AI就顺着这胡言乱语的设定,一本正经地编了下去:

这些生物有着独特的角,科学家们就以此为它们命名,叫Ovid’s Unicorn。长着四只角的银白色生物,在这之前并不为科学界所知。

虽然,这些生物的起源还不清楚,但有些人相信,它们是一个人和一个独角兽相交而诞生的,那时人类文明还不存在。Pérez教授说:“在南美洲,这样的现象很常见。”

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图17)

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图18)

效果惊人外,在各种特定领域数据集的语言建模测试中,GPT-2都取得了优异的分数。

网友们对其完全开源的呼声越发强烈,于是在接下来的时间里,GPT-2经历了“挤牙膏式的开源”。

它初出茅庐时先放出了124M版本的模型,然后是355M,再然后是774M。

经过9个月断断续续发布,OpenAI最终把15亿参数的完整模型放了出来。

实测结果如何?

OpenAI在博客里说,GPT-2的生成结果,有独立客观第三方的检验,令人信服:

团队在康奈尔大学的合作伙伴,对人类做了问卷调查,给GPT-2输出的文本打出可信分 (Credibility Score) ,各种大小的模型都参与了。

满分10分,大家给15亿参数模型的可信分是6.91。比7.74亿参数的模型 (6.72分) 和 3.55亿参数的模型 (6.07分) 都要高。

也就是说在人类眼里,15亿参数模型,比之前放出的那些模型,写出的文章更逼真了。

语言模型跨界引热议

超会编故事的NLP模型,现在还能写曲子、下象棋了,这件事引发了网友的热议,甚至吸引来了马库斯。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图19)

英国作家Tom Chivers认为,这或许将打开通向AGI(通用人工智能)的新思路。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图20)

有网友质疑说,这并不是对下棋这件事的“学习”,只是在统计学上将给定的开局动作与其相应的后续动作关联起来。GPT-2仅仅是给出了符合已知模式的结果。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图21)

一位斯坦福CS博士则直言,可能使用非常古早的语言建模方法同样能实现这一结果。说GPT-2“学会下棋”是一种误导。

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图22)

那么象棋残局,你怎么看呢?

作者介绍国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图23)△Shawn Presser

Shawn Presser,具有丰富的C++游戏引擎编程经验,是一位图形学编程人员、工具开发者。

2010年至2011年,就职于S2 Games,参与Heroes of Newerth游戏项目的相关工作。

2005年至2008年,就职于Simutronics,主要从事基于C++的项目开发工作。

传送门

Reddit:
https://www.reddit.com/r/MachineLearning/comments/elf66h/p_using_gpt2_to_play_chess/

博客:
https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/

作者资料:
https://www.linkedin.com/in/shawnpresser/

Demo:
https://colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR#scrollTo=8gxTLCKBQ3-F&forceEdit=true&sandboxMode=true

作者系网易***·网易号“各有态度”签约作者

— 完 —

AI内参|把握AI发展新机遇

拓展优质人脉,获取最新AI资讯&论文教程,欢迎加入AI内参社群一起学习~

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图24)

跟大咖交流 | 进入AI社群

国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图25)国际象棋语录—战略篇最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战 象棋残局(图26)

量子位 QbitAI · 头条号签约作者



վ'ᴗ' ի 追踪AI技术和产品新动态


喜欢就点「在看」吧 !