8月21日,联邦学习与迁移学习国际研讨会( 简称FTL-IJCAI)顺利举行。
IJCAI(国际人工智能联合会议)至今已成功举办29届,是人工智能领域历史最悠久,也是最具影响力的学术会议之一。会议期间,微众银行、京东、第四范式、星云Clustar等企业联合香港科技大学、南洋理工大学、匹兹堡大学、清华大学等知名高校及科研机构发起了“IJCAI联邦学习与迁移学习国际研讨会(FTL-IJCAI’21)”,来自全球的技术专家和产业精英分享了最新研究成果,从技术效率提升、工业界应用等多维度全方位解开联邦学习生态影响力提升扩大的密码。
作为本届研讨会的组织方,同时也是联邦学习研究与应用的代表企业之一,星云Clustar在会上分享了多项最新研究成果。其中,由香港科技大学副教授、iSING Lab主任陈凯教授指导,星云Clustar CTO张骏雪与星云Clustar算法工程师张曾光、柴迪联合研究并撰写的论文《Aegis: A Trusted, Automatic and Accurate Verification Framework for Vertical Federated Learning 》荣获FL-IJCAI’21最佳应用论文奖(Best Application Award)。
在日益增长的政策监管压力之下,如何解决用户隐私安全、如何合法合规获取数据等问题,成为当下人工智能大规模应用于产业的关键。而联邦学习作为一种新型机器学习技术范式,因其可兼顾大数据合作需求和隐私安全保护而倍受学术界与产业界关注,发展极为迅速,渐渐成为各行各业大数据合作与AI协作的“标配”。
在研究领域,如何更好地支持跨行业数据融合是一个广受关注的研究课题,而纵向联邦学习是常用的技术范式。纵向联邦也称为跨特征联邦,自微众银行在2019年提出以来,已逐渐应用到越来越多的场景中。例如,银行可在对自身拥有的客户资金数据特征完成建模后,将中间数据上传至联邦,与外部互联网平台上传的客户信息中间数据进行联合建模,利用多维度的数据提升模型效果,更精准的完成广告投放,提升用户点击率,同时还能进一步跟踪用户点击转化效果。
在技术范式上,与谷歌所提出的横向联邦学习中所有参与方共享一个共有模型不同,纵向联邦学习体系中,每个参与方都拥有与其数据特征相关联的共享模型中的一部分。因此,纵向联邦学习中各参与方彼此间存在更为紧密的共生关系。换言之,纵向联邦学习的各参与方之间的计算具有依赖关系,需要频繁地互动与交换模型训练中间结果。
然而,频繁互动与模型参数交换的过程是否安全、参与方行为是否可信是纵向联邦所面临的一大难点。只有所有参与者都遵循安全协议或算法时,纵向联邦才能实现安全可控的跨行业数据融合,发挥技术价值。而在产业上,多个参与方完全互信多为理想状态。实际应用中,如果参与方存在恶意行为,如发送恶意控信息或执行恶意命令,便会导致纵向联邦模型失去准确性,甚至导致源数据泄露。
为了应对这一实际应用痛点,扩展联邦学习更多应用空间,星云Clustar研究团队对纵向联邦学习系统进行了深入研究,创新性构建了一个可信的、自动的、准确的验证框架。该框架一方面利用区块链技术,将多方参与建模训练的加密数据存储于不可篡改的区块链系统中,以确保收集数据的安全性。另一方面,对联邦学习参与方的通讯、流量进行审计,监督多方合作建模过程中破坏模型训练、泄露隐私的行为,并且在训练结束后可再次进行事后审计,确保所有的加密数据训练都有迹可循,若造成泄漏则方便追责。
论文作者、星云Clustar算法工程师张曾光在分享中表示:“Aegis 通过对纵向联邦学习传输中间信息的监控,可实现对流程和数据两个方面可能存在的恶意攻击和隐私泄露进行检测。这一成果大幅强化了联邦学习的可验证安全性,为解决多方参与的联邦学习互信问题提供了一个当下最佳的技术解。”
据了解,这已经是星云Clustar第3次深度参与IJCAI的专项研讨会。2019年,星云Clustar敬清贺作者团队的论文《量化评估联邦迁移学习(Quantifying the Performance of Federated Transfer Learning)》得了会议的最佳学生论文奖;2020年,星云Clustar提交的论文《FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning)》再次入选,并于会议上展示了星云自主研发的联邦学习隐私计算方案。
作为国内联邦学习技术研究与应用的代表企业,星云Clustar正在通过自身在技术领域的沉淀与积累,深掘联邦学习切实落地的可能性与空间,推进联邦学习带来的技术红利在各行各业的落地,使企业与机构的多方安全协作更具可得性。未来,星云Clustar将继续在联邦学习技术领域深耕,保持开放的心态,坚持开源的技术路线,助力联邦学习技术与隐私计算产业的可持续发展,使数据发挥出真正的生产要素作用。
雷锋网雷锋网雷锋网