自然界中,「蚂蚁觅食」是一种寻常但奇特的现象。
成群结队的蚂蚁,总是能够在食物与蚁巢之间寻找到最佳路径,快速地将食物搬运至蚁巢中。这引起了生物学家的广泛注意,在经过多次研究实验之后,他们发现:
蚂蚁在寻找食物过程时具备随机性,没有固定的方向和目标,但只要有一只蚂蚁发现食物,这只蚂蚁在搬运食物回巢时,就会留下一种微弱的气味,即一种叫做「信息素」的物质。其它蚂蚁会沿着该气味寻找到食物,然后再次留下气味踪迹。最终,越来越多的蚂蚁加入其中,形成了一条最优化的路径。
这种特性让蚂蚁在觅食行动中,群体的效率远高于个体,不需要浪费更多的时间与精力。换句话说,单只蚂蚁觅食低效而低智,而当蚂蚁成群,就能爆发出一种隐形的群体智能,通过协作达到「整体最优」。
类似的现象在自然界中比比皆是:大雁在迁徙时会排成阵列,在「人」和「一」中来回切换;鲱鱼在面临捕猎者时会相互「预警」;蜜蜂则拥有高效的「决策系统」。
就连人类本身,也存在类似的「群体智能」:「世上本是没有路的,走的人多了,也便有了路。」
人们从A点走到B点,起初会有无数条路径,但最终会出现一条最优的路径,这正是人们在实践中进行无数次「探索」和不知觉中协作的结果。
因此,不论是处于食物链顶端的人,还是诸如蚂蚁、蜜蜂等低等动物,在形成群体之后,都能爆发出一种群体智慧。这种智慧来源于群体各成员之间的「默契」与「配合」,进而给群体带来整体利益的「最优解」。
当这些现象被观察、解析之后,其内在的群体智慧逻辑被借鉴至多个学科,例如社会学、组织行为学、经济学等等。
也有不少学者将其应用到人工智能领域,做了一系列研究,成果涵盖从最初的「蚁群优化算法」、「粒子群优化算法」到后来的群体智能、众包、群体计算等概念,并产生了比较多的应用,如无人机协作、智能电网等等。
其中,「群体智能」作为未来人工智能的5个重大方向之一(《新一代人工智能发展规划》,国务院,2017),在学术界已经引起广泛关注,不少学者纷纷将「群体智能」与自身研究方向相结合,试图以「群体智能」的视角来重新探索各种涉及到组织协作、参与者人数较多的问题的解决之道。
黄建伟正是其中之一。
作为IEEE通信学会杰出讲师,他于2016年当选IEEE Fellow,当选时年仅37岁,是当年全球最年轻的几个Fellow之一。官方给出的原因是,表彰其「在无线通讯网络的资源管理及分配机制上的重大贡献」。
在具体研究方向上,黄建伟长期专注于网络优化、群体智能和经济学交叉领域的开创性研究,总共发表了7本英文学术专著,300多篇国际一流期刊和会议论文,谷歌学术总引用超过14400次。
他的论文九次获得国际会议和期刊的最佳论文奖,包含2011年「IEEE马可尼无线通信论文奖」(无线通信领域最重要的奖项之一)。此外,他还曾获得2009年IEEE通信协会亚太杰出青年研究学者奖、2014年香港中文大学青年研究学者奖。
过去5到6年的时间里,黄建伟在「网络+经济」的基础上,拓展出群体智能的方向,着重探索解决群体智能领域一个长期的公开问题:群智决策中如何验证事实正误。
而在群体智能这个领域,他的研究也深入到了联邦学习、群智决策等细分方向,并且将成果应用到了碳中和、交通、智慧城市等多个场景之中。
近日,雷峰网-AI科技评论与黄建伟博士就「群体智能」这一话题进行了对话,后者从「群体智能」的定义、研究内容、应用、未来研究方向等多个方面进行了深入浅出的讲解。雷峰网-AI科技评论将其整理成文,以飨读者。
让我们先来看看,什么是「群体智能」。
1992年,意大利学者Marco Dorigo 受蚂蚁觅食的灵感,在其博士论文里提出了「一种用来在图中寻找优化路径的概率型算法」,即「蚂蚁优化算法」(ACO);三年后,社会心理学家James Kennedy和电气工程师 Russell Eberhart 通过模拟鸟群觅食行为,提出了「粒子群优化算法」(PSO)。
这两种算法出现之后,关于「群体智能」的研究开始涌现,相关论文逐年增加。
由于这两种算法都是受动物觅食启发,研究的是几乎没有智能的昆虫(蚂蚁、蜜蜂等)在形成整体之后,涌现出很强的智能性。因此,群体智能最早的含义,在英语语境下,被称为“Swarm Intelligence”。
根据Marco Dorigo的阐述,从广义的角度看,「群体智能」指的是群居性生物通过协作而表现出的集体智能行为;而从学科研究的角度看,「群体智能」则指受自然界中群体协作行为启发,研究问题求解算法或分布式系统理论与方法的学科。
后来,不少学者将「群体智能」与各类学科融合在一起,如社会学、组织行为学、人工智能等,来研究社区、团体内,成员之间进行互动,来实现整体收益的最优。从这个角度看,群体智能又被称为「Collective Intelligence」。
「两种说法很多时候没什么区别,大家也都是混用,只是从不同的角度出发而已。」
黄建伟告诉雷峰网-AI科技评论,实际上,如果按照研究对象分,「群体智能」在业内还有另一种叫法——Crowd Intelligence。与前两种相比,Crowd Intelligence 以人为主,旨在研究大量的人如何实现智能决策的问题。因而,Crowd Intelligence主要关注两方面:
组织问题的计算化;
计算问题的组织化。
所谓组织问题的计算化,即将某个整体组织协调的问题的计算变成分布式计算。
比如,在一些网约车平台上,每个司机都是独立的个体,如何把这些司机有效地组织起来,来实现整体资源的最优分配,就需要将整个问题通过去中心化的分布式计算来实现供需平衡。
计算问题的组织化,即将复杂问题拆解为多个模块,每个模块由不同的单元负责,最终将问题消解掉。用比较通俗的话讲,就是「大事化小、小事化了」。
引用国内北航的两位学者,李伟和吴文峻对于 Crowd Intelligence 的相关研究,其与 Collective Intelligence 的关系如图所示:
从图1不难看出, Crowd Intelligence 在数学意义上属于Collective Intelligence 的子集,Crowd sourcing(众包,一种分解任务的方法)和 Human computation(人类计算,一种计算方式) 的交集。
因此,Crowd Intelligence 属于群体智能(Collective Intelligence) 的一种,这也是黄建伟的研究方向之一,后续文章提到的「群体智能」,如无特别指出,皆指代Crowd Intelligence。
Crowd Intelligence 的研究对象以 Crowd(人群)为主,旨在通过借鉴简单类群居生物表现出的群体智能,来解决人类生活中面临的实际问题,其与各学科的交融,尤其是与AI的融合,可在多个领域应用。
以联邦学习为例:
传统生产人工智能模型依赖大量数据,在进行数据预处理、标注等环节之后,在大算力的服务器上进行训练,然后调参、优化等,最终产生模型。
然而在实际应用中,数据量并不一定足够,因为许多用户出于隐私的考虑,不愿贡献数据。那么该怎样去生产一个复杂有效的模型呢?
联邦学习就是一个「群体智能」的应用案例:用户通过本地数据做计算,然后将计算模型贡献给中央服务器,进行相互交流、调优;通过这种不接触本地数据的方法,也可以产生有效的人工智能模型,且规避了数据泄露的风险。
在具体应用方面,「群体智能」已经被广泛运用到智慧城市的各个场景,例如智慧交通、智慧物流、智能电网、碳中和等等。
2015年年底,黄建伟当选IEEE Fellow,年仅37岁,当年全球40岁以下获此殊荣的人只有6人。
前面已经提及,其当选理由是:对无线系统资源分配的贡献。但更为具体的表述,应是「从经济学和博弈论的角度去分配无线网络资源」。
很难想象,本科学习无线通讯的黄建伟,后来会与经济学、博弈论产生联系,并因此而获奖。
据黄建伟介绍,他与经济学、博弈论的「相遇」是从东南大学无线电工程系本科毕业之后,本世纪初在美国西北大学攻读硕博的时候。当时他师从 Michael Honig 教授和 Randall Berry 教授,在两位导师的指导下开始搞跨学科研究。
Michael Honig 是最早研究无线网络经济学的学者之一,曾在贝尔实验室工作过很长时间,后于1994年前往西北大学担任讲席教授,开创了在网络中引入经济学的先河,黄建伟后来做网络经济学,尤其是无线网络经济学,就是受其影响。
Randall Berry与黄建伟则更接近于「亦师亦友」的关系:黄建伟攻读博士学位时,Randall Berry刚从麻省理工毕业满一年,两个人同样没有经济学基础,便一起去西北大学经济系上博弈论的课程,讨论博弈论与无线频谱之间的关系。时至今日,Randall Berry已经是西北大学 ECE 系主任。
从两位导师那里,黄建伟除了在无线通讯领域获得指导以外,还跨学科学习了经济学,以及博弈论的相关课程。并且,这种跨学科研究给他后来的执教也带来了深刻影响。
在带学生时,他总会强调一点:要有open mind(开放的思维),一定要对很多学科的知识感兴趣,并且善于学习,「如果遇到不懂的知识,大家可以一起学习,学生反过来教他,也是很正常的」。
2005年,黄建伟获西北大学电子与计算机工程系博士学位,旋即进入普林斯顿大学从事博士后研究,研究方向为网络优化。2007年,黄建伟从海外归国,在香港中文大学信息工程系担任助理教授,创立了网络通讯与经济学实验室(Network Communications & Economics Lab,NCEL),历任副教授,教授,现任香港中文大学(深圳)校长讲座教授、理工学院副院长,深圳市人工智能与机器人研究院(AIRS)副院长,培养出了多位优秀学者。
他与「群体智能」的第一次直接接触是在2011-2012年。当时,黄建伟率领团队研究的一个如何在电动车充电高峰期调节电网负载的课题,目的是使电网在满足电动车大规模充电需求的同时,能够进行有效调节。在该项目中,采用了「群体智能」相关的激励机制,但在那时「并没有想到『群体智能』这个概念」。
2015-2016年,黄建伟开始系统研究「群体智能」,主要做了两方面的工作:群体决策;数据的隐私保护。而在具体研究方向上,则涵盖分布式机器学习、联邦学习、小样本学习等。
2017年,黄建伟团队在研究网络定价方面的工作获当年IEEE 通讯协会最佳青年论文奖,论文的内容便是「通过经济学的方法去研究如何进行最佳数据采集,同时保护用户的隐私」。
同年,国家发布了《规划》,将「群体智能」列为人工智能的5大方向之一。当时,人工智能浪潮正激流勇进,但与「群体智能」的联系并不紧密,许多用到「群体智能」的场景,并没有用到人工智能,而利用人工智能来解决问题已成大势所趋。
因而,在国家政策引导与AI的发展趋势下,黄建伟开始把研究重心放在「群体智能」上。
学术界研究「群体智能」已不是新鲜事,但在2010年,《Science》的一篇文章引起了广泛注意,这篇文章提出一个命题:假设一群人聚在一起,那么这群人体现出来的智力水平,受哪些因素影响?
该研究发现,影响群智力水平最主要有三个因素:
人群的社会敏感度,即群体成员之间能否进行有效互动;
群体中个体平等发言的机会;
女性占比。
也就是说,在人群之间能够有效互动,并且每个个体都能具备平等发言机会,而女性处于合适占比的情况下,这群人体现出来的智力水平将高于其它情况。其中,群体成员之间的有效互动,是最主要的因素。
该研究进一步发现,要实现群体成员之间的有效互动,必须设立相应的「激励机制」,来保证成员的积极性。这恰是黄建伟的研究内容之一。
前面曾有提及,在「群体智能」方面,黄建伟做了两方面的工作,群智决策和数据隐私保护。而在群智决策方面,黄建伟率团队解决了一个问题:群智决策中如何验证事实正误。
「过去五六年时间里,我们想要解决群智决策的问题,这实际上是一个很难的问题,因为当一个复杂问题通过众包的方式分发给个体,个体在解决问题之后,无法验证其解决问题答案的对错,也就是事实无法验证情况下的群体决策。」
举个例子:美国大选前有调查机构做预测,但预测结果会因各种条件发生变化,结果各不相同,但当大选结束,会有一个正确答案,该问题的结果是可以验证的。而如果要鉴定达芬奇画的一幅图,不同的专家、学生、画家等人都可以通过自身的认知来进行判断,把大家的结果综合在一起,最后可以产生一个群体结果,但这个结果的答案是不可验证的,除非达芬奇死而复生,指明这幅图是他的真迹,否则这幅图的真假将永远成谜。
黄建伟对此问题的解法是,通过设计合理有效的激励机制,一方面鼓励参与者努力投入,使得整体答案接近于事实;另一方面,通过多数人投票机制,根据多数人的答案来决定事实的正误。
具体来看,在群体决策中,由于个体之间的能力差异,以及利益动机,要实现决策最优是非常困难的。因此,通过激励机制来鼓励有能力的个体投入更多的时间和精力来做决策,配合以多数投票规则来筛选出高质量的众包工人,以此提高整体决策力量,是一种可行的方法。
引用判定达芬奇画的真假这一案例,通过设置对应的激励,激发所有参与者的投入,将所有答案综合起来,那么这个答案接近真实结果的概率,理论上在提高;而最终结果遵从多人投票机制,即该答案的真假根据多数人的答案决定,比如在10个人中,有7个及以上的人,认为此画是达芬奇的真迹,那么该结果就遵从多数人的判断,认为这幅画的确出自达芬奇的手笔。
在「群智决策」之外,类似的激励机制还被应用在「联邦学习」中。
联邦学习的原理是,用户在本地数据进行训练之后,将训练结果传送到中央服务器,再次进行训练。但这个本地学习过程,对于中央服务器是不透明的,用户有无认真进行模型训练,对中央服务器而言是一个黑匣子。
这个问题可以通过挺入激励机制来解决:设计有效的激励机制,鼓励那些学习成本较低、数据较多的用户,积极参与联邦学习,从而提高联邦学习的整体效果。
黄建伟团队发现,联邦学习产生的模型可以作为商品交易,其称之为「机器学习模型的交易」。
所谓「机器学习模型的交易」,指的是在联邦学习过程中,一些拥有数据、能做联邦学习的参与者,训练出来的模型,可以作为商品,与那些没有数据、无法做训练,但又需要用到模型的参与者进行「价值交换」。
举个例子:出租车司机基于其日积月累的经验,对路况的了解比普通人更多,不过出于隐私原因,司机并不打算把自己掌握的数据告诉别人。但是这些数据在本地训练之后,可以将训练结果传送至中央服务器,从而训练出对应的模型,而这个模型可以作为商品进行交易 。因此,对应的平台需要设立对应的「激励机制」,来鼓励这些有数据的司机,参与到联邦学习过程中,以提高模型精度。
「机器学习模型的交易,是一个非常新的方向,目前做的人比较少,但非常有意思。」
总而言之,不论是群智决策,还是联邦学习,都不可避免需要用到「激励机制」,才能使决策、模型达到更好的效果。这正如黄建伟所言:
「把激励机制的问题解决好,才实现『群体智能』的效率最优。」
如今,提起「智能」二字,必然离不开人工智能(AI),「群体智能」似乎也离不开AI。
实际上,「群体智能」最早与人工智能没有联系,其研究的是蚂蚁蜜蜂等简单生命体在群体中涌现的智能;而AI则是让机器像人一样思考,研究对象并不相同。
但现在「群体智能」已经成为人工智能的5个重点方向之一,该如何理解群体智能与AI的关系?
在黄建伟看来,过去几十年关于AI的研究,主要集中在数据、算力、算法三个方面,让机器形成类人智慧的能力。但人们发现,这条路不一定走得通。
数据方面,数据在不断增加,但许多都是分布式数据,而非集中式数据,并且出于隐私原因,人们不愿意进行数据共享。
算力方面,过去十几年,算力飞速增长,但算力本身不能无限扩张,而在很多普通场景,并不能获得大量算力。因此,对高算力的依赖,已经成为许多深度学习算法在实际应用中的瓶颈,在此趋势下,分布式算力成为主流。
也就是说,人工智能本身要进一步发展,必然要利用好这些分布式算力和分布式数据,而这与群体智能的关系非常紧密。因为「群体智能」本身,就是依托群内「个体」之间的协作配合,来解决问题。
这也是为何「群体智能」在人工智能的讨论中越来越重要的原因:如果不能有效聚合、调动成千上万的智能体来解决问题,那么人工智能就丧失了形成巨大智能的途径。
以无人机群体作业为例,每一架无人机能够存储的数据量并不大,计算处理能力很弱,靠单架无人机很难做一些计算较为复杂的问题,如火灾预警、道路检测等。然而一旦实现群体作业,无人机之间能够实现数据传输,只要有一台无人机做过对应的模式识别,那么就能检测出问题,把信息传输出去。
「多个智能体在有限的数据、计算条件下,实现互相协作,来解决问题,在现实生活中,远比大数据计算的应用面更广。」
所以,从人工智能本身发展的角度,借鉴「群体智能」的逻辑,也自然而然在情理之中。而当政府出台《规划》之后,「群体智能与人工智能的联系就更为紧密了」。
在「群体智能」方面,国内已有不少学者展开了深入研究。
中科院梅宏院士提出了「探索融合反馈模型」,该模型把个体搜索融合起来,将结果反馈给群体,使其能够更好地决策;鹏程实验室的于全院士,做了基于蜂群的群体决策;清华大学刘云浩教授则发力群体感知......
与上述学者不同的是,黄建伟擅长通过「网络博弈」来研究「群体智能」。具体来看,就是用「网络博弈」来连接其「网络经济学」,即用经济学的方法研究了大量的网络资源分配的优化问题。这也是黄建伟团队的鲜明研究特色之一。
「如果把网络看作市场,那么网络资源本身是有限的,用户会在线性约束条件下争夺资源,这实际上是一种非合作博弈 ,那么该如何满足用户对网络的增长需求?」
国内做的比较多的研究,多以技术为导向,即把网络做得更快、传输速度更高、延迟更短;但除了技术之外,网络资源也可以通过分配来满足市场需求、实现社会效益的最大化。
比如,不同用户对于网络资源的需求差异(时间、延迟)较大,容易造成资源的闲置、浪费,那么就可以通过设计对应的市场机制,实现有效分配。
「在『群体智能』里面,个体的决策与他人决策密切相关,每一个决策者的收益将取决于个体行为与他人之间的交互,才能达到整体最优 ,这实际上就是一种网络博弈。」
目前,国内做技术研究的更多,而研究分配、激励用户参与,通过分配机制来解决问题的学者相对较少。因而,在黄建伟看来,分配与激励,应该是未来「群体智能」的发展发向之一,能推动「群体智能」算法实现广泛应用。
除此之外,对于「群体智能」,黄建伟认为,还有三个方向值得关注:
一是多智能体的强化学习。
一般的人工智能算法严重依赖数据,但强化学习的出发点是「数据很少甚至没有」,是通过与环境的不断交互,获得反馈之后进行学习,目前对于强化学习的研究也主要集中在单智能体上。
「群体智能」本身依赖多个智能体的协作配合,因而多智能体的强化学习变得很重要。即多个智能体之间实现交互,通过分布式个体与环境之间的交互学习来解决问题,比如车路协同。
二是模型交易。
「群体智能」的最终结果,可能体现在一个具体的机器学习模型上,而这些模型实际上可以通过交易,来惠及他人。目前,业界模型交易市场已初具雏形,但非常有限,相关的理论分析几乎没有。
三是隐私保护。
在实现「群体智能」的过程中,不可避免要涉及数据隐私问题,参与者越多,数据泄露的风险也就越大,因此必然要有一系列的算法设计,把隐私保护融入进去。
「『群体智能』里面有很多问题,我们研究的是通过网络博弈,通过经济学设计好的激励机制,然后与算法相结合,来解决问题,这是一个研究相对较少但重要的方向。我们希望通过长期积累的核心理论基础与实践结合,来实现突破。」黄建伟说道。雷峰网(公众号:雷峰网)雷峰网