北大孙赫：用 AI 研究科学成像，从「大宇宙」到「小宇宙」

2022年5月12日，全球知名的黑洞观测计划「事件视界望远镜」（Event Horizon Telescope，EHT）发布了一张位于银河系中心的超大质量黑洞「人马座A*」（Sgr A*）的照片。该照片提供了银河系中心黑洞真实存在的首个视觉证据，在世界范围内引起了巨大的轰动：

图注：位于银河系中心的黑洞——「人马座A*」（Sgr A*）。这张照片由2017年EHT所观测数据中提取的多张照片组合制作而成。

据EHT介绍，Sgr A*黑洞的质量大约是太阳的400万倍，覆盖面积几乎与水星的轨道一样大。听起来很大，但由于位于银河系中心的Sgr A*距离地球二万七千光年之遥，要从地球上拍摄Sgr A*也面临巨大的挑战，难度极高。

有多难？

「就像从洛杉矶拍摄位于纽约表面的一粒盐，需要建造一个跟地球一样大的射电望远镜才能拍到这么小的东西。」加州理工学院（Caltech）的研究人员这样解读。

这是EHT第二次让世人窥见宇宙黑洞的真实容貌。第一次是2019年4月10日EHT观测到的一个位于室女A星系（M87）的黑洞。

区别于其他研究黑洞的方法（如引力波观测），EHT的目标是直接获取宇宙中黑洞的影像进行分析。与M87相比，Sgr A*的动态变化更加迅速，因而在成像上也更具技术挑战。

据EHT官方披露，该计划召集了来自全球80多个研究机构的300多名研究人员共同研究。合作组在2017年4月利用分布于全球各地的8台射电望远镜对SgrA*进行了联合观测，并在之后花费五年时间，开发了复杂的工具解决SgrA*的图像处理问题，并利用超级计算机合成与分析影像数据，创建黑洞模拟数据库与观测结果进行严格比对，才最终得到了上述较为清晰的照片。

来自北京大学未来技术学院的青年研究员孙赫便是EHT这300多名研究人员中的一员。

在AI科技评论对孙赫博士进行访谈时，他曾十分兴奋地透露他正在参与一个全球性的科研计划。但直到Sgr A*发布，他才向我们披露，这个计划就是EHT对银心黑洞Sgr A*进行观测、处理成像。

图注：孙赫在普林斯顿大学

孙赫的主要研究内容是将人工智能算法应用于科学成像研究，将光学、控制学、信号处理与机器学习等知识融合，促进科学领域的研究发现。在EHT合作组中，孙赫作为成像和科学特征提取两个团队的成员之一，参与了一系列图像处理软件的开发与黑洞数据分析的工作。雷峰网

虽然同属「AI for Science」，孙赫的研究逻辑却与这一赛道上的多数学者不尽相同：人工智能领域的研究者大多从 AI 的角度研究科学问题，而非计算机科班出身的孙赫则更喜欢从科学问题的需求出发寻找 AI 工具。雷峰网

此外，值得注意的是，孙赫的目标研究领域并不只有天文学。

2022年5月，孙赫结束其在加州理工学院的博士后研究，正式加入北京大学未来技术学院国家生物医学成像科学中心，将他在天文成像上的积累推广到一个崭新的领域——生物医学成像。

如果说黑洞观测是面向大宇宙，那么生物医学成像则是探秘人体这个「小宇宙」的重要途径之一。在从「大宇宙」到「小宇宙」的旅途上，孙赫也逐渐成长：从对人工智能算法一无所知，到跨学科研究，在人工智能和科学成像的交叉点遇到了令他兴奋不已的研究方向。雷峰网(公众号：雷峰网)

1、从航空航天到计算成像

孙赫与机器学习的结缘是出于偶然。

他的本科就读于北京大学工学院，主修工程力学、辅修经济学，2014年本科毕业后申请到了普林斯顿大学机械与航空航天工程系攻读博士。该系包含许多研究方向，孙赫所属的方向为控制理论与动力系统（类似国内的「自动化」），因此，在博士刚开始时，他更感兴趣的是与机器人相关的研究课题。

2014年，人工智能（AI）正在兴起，作为世界顶尖研究高校的普林斯顿大学也是学术界这一波AI研究大潮的先行者之一。在孙赫的第一年博士预备阶段，普林斯顿大学的统计与机器学习中心（Center for Statistics and Machine Learning）开始设置机器学习的辅修项目。虽然不属于计算机系，但对 AI 抱有好奇心的孙赫也报名了该项目，成为首批修读该项目的学生之一。

对 AI 的了解改变了孙赫原先的研究规划，也在潜移默化中加强了他在开展研究时应用 AI 的意识。

第一年博士实验室轮转学习（Lab Rotation）结束后，孙赫加入普林斯顿高对比度成像实验室（Princeton High Contrast Imaging Lab），师从N. Jeremy Kasdin，参与研究天文望远镜的自适应光学系统。

「自适应光学是一类能够控制光的自动化系统，就像我们控制机器人的动作、姿态和运动轨迹来执行目标任务一样，自适应光学系统可以调控光场的性质来提升望远镜的成像能力。」孙赫向 AI 科技评论解释道，「很多传统的AI算法都源自于控制理论，所以很自然的就在想能不能把机器学习的方法再引入到望远镜自适应光学系统的开发中」。

博士期间，孙赫开始尝试用数据驱动的机器学习方法改进天文望远镜的控制系统。

当时，他的博士导师 Jeremy Kasdin 是NASA 的新一代太空望远镜——「罗曼太空望远镜」（Roman Space Telescope）科学团队的负责人之一。罗曼太空望远镜是韦伯望远镜之后NASA的又一个旗舰任务，它有两个主要的科学目标：一是观测宇宙中的暗物质，二是观测宇宙中的系外行星、寻找适合人类生存的「第二个地球」。

「对系外行星的直接成像非常难。因为恒星是发光的，而类地行星通常是不发光的。比如说，从宇宙深处的其它行星上观测太阳系，地球要比太阳暗十亿倍以上。在这种情况下，你需要想办法提升望远镜的成像对比度。自适应光学为这个问题提供了一个重要的解决思路，我们可以应用控制理论去操纵光的传播过程，将耀眼的恒星光消除，从而打破望远镜的光学极限，制造出一个特别暗的区域来实现对行星的观测。」孙赫谈道。

要控制光，就需要改变望远镜系统内部分镜面的形状来使光场发生变化。如此精密的控制（镜面的形变通常在纳米级）需要对望远镜的光学系统有一个精确的建模。然而在轨运行的太空望远镜十分「敏感」：机械振动、太阳辐射产生的热效应等太空极端条件下的种种因素都会使望远镜的光学系统随着时间发生各种微小的变化。

针对这一问题，孙赫在博士期间最重要的一项工作就是将机器学习引入到太空望远镜中，利用望远镜的观测图像实时地修正光学系统的建模误差，提升自适应光学系统的控制精度与最终的成像对比。相关研究被收录于他的博士论文（"Efficient wavefront sensing and control for space-based high-contrast imaging"）中，并获得了2019年IEEE航天会议的「观测系统和技术最佳论文奖」。

• 孙赫的博士论文链接：https://dataspace.princeton.edu/bitstream/88435/dsp01g445ch067/1/Sun_princeton_0181D_13173.pdf

不过，他真正从 AI 的角度深入研究天文成像是在加州理工学院（Caltech）担任博士后期间。

在普林斯顿读博时，由于研究课题与天文密切相关，孙赫偶然结识了来普林斯顿进行学术交流的Katie Bouman。Katie Bouman的主要研究方向是计算成像（Computational Imaging），尤其是将 AI 算法用于黑洞成像的研究。

图注：加州理工学院计算与数学科学系、电子工程系和天文系助理教授的 Katie Bouman

用 AI 研究黑洞成像，这是多么酷的事情呀！孙赫对 Katie Bouman 的研究内容感到十分兴奋。

虽然控制与 AI 不分家，孙赫在太空望远镜自适应光学系统的研究中也浅尝了机器学习算法的美妙，但总的来说，他的研究内容仍偏传统的控制方法。2018年暑假，孙赫去了位于美国波士顿市区的三菱电机研究实验室（MERL）实习，接触到了许多机器人、控制与 AI 的实用知识，对进一步将 AI 与其研究结合的愿望更加强烈。

于是，博士毕业后，孙赫选择加入Katie Bouman在加州理工学院新建立的计算相机实验室（Computational Cameras Group at Caltech）做博士后，并在 Katie 的指导下参与了EHT黑洞成像的一系列工作。

2、探索「 AI+黑洞成像」

2019年，孙赫在普林斯顿获得博士学位后，从美国的东北部飞到了美国西部，加入位于加州帕萨迪纳市的加州理工学院，开始了他的博士后研究之旅。

孙赫在博士后期间的研究获得了「Caltech/Amazon AI for Science Fellowship」的资助。「AI for Science」是近年人工智能领域一个重要的新兴研究方向。很多时候，人工智能领域的研究者喜欢从 AI方法 的角度出发，先设计出一个比较通用的算法或模型，再思考其用途。然而，真实的科学成像问题需要什么样的 AI 技术？孙赫从他的研究经历出发，提供了不一样的视角。

孙赫向 AI 科技评论 介绍：在大型科学任务（如太空望远镜）中，研究人员通常首先进行的是科学目标的选取，而不是可行性论证，更不是涉及技术细节的仪器和数据处理算法设计。例如，申请立项一个科学仪器的项目时，最先成立的一定是「科学定义团队」（Science Definition Team），而不是工程团队。

科学定义团队会聚集在一起，讨论他们要解决的问题，总结出一个科学目标，然后对仪器提出具体的参数要求。因此，他思考，要将 AI 应用于科学研究，AI 研究者似乎也可以遵循这样的研究逻辑，首先深入理解具体的科学需求和限制因素，再从终点倒推路径，设计开源、好用的 AI 工具。

「比如，太空望远镜中的 AI算法 就要首先考虑在轨计算资源的有限性。」孙赫举例说。

一台卫星发射到太空中，不仅成本高昂，而且载重有限，因此飞行器不可能携带大型的处理器或数据存储设备。此外，太空飞行器中的计算设备也要考虑能耗和使用寿命等因素。这些都决定了简单而有效的「小模型」，而不是复杂的「大模型」或许更适合太空仪器设备的需求。博士期间，他在AI+自适应光学上的工作就是利用了简单的线性模型取得了不错的效果。

因此，他总结：「AI for Science， 解决具体科学问题是第一出发点。」

在黑洞成像中，孙赫与Katie Bouman等人解决的一个具体科学需求是黑洞成像的不确定性估计。

具体来说，由于 EHT 望远镜阵列的观测非常稀疏，且观测数据受到大气扰动等一系列环境噪音的影响，黑洞的图像重构具有一定程度的不确定性，这会阻碍科学家了解黑洞的真实形状。「对于科学家来说，他们要的不是单一的照片，他们更想知道的是拍摄的图片中，哪些内容是可信的、哪些内容是不可信的，也就是他们常说的『know what we don't know』（知道我们所不知道的事情）。」孙赫向 AI 科技评论解释。

传统的基于马尔可夫链蒙特卡洛算法的不确定性估计算法，在高纬图像重构问题中会遇到“纬度灾难”。针对这个问题，孙赫与 Katie Bouman 等人提出了一种基于变分贝叶斯推断的深度学习方法来高效地量化高维图像重构中的不确定性。该方法利用深度生成模型来近似重构图像的后验概率分布。

「这里我们不是计算准确拟合观测数据的最优图片，而是尽可能的寻找可以比较好拟合数据的所有图片。我们的解是一个重构图像的概率分布，因此我们叫它『深度概率成像』。」孙赫谈道，「这个工作可以帮助天文学家在极少的数据中提取有效的科学信息，并且估算观测数据的不确定性，避免过度解读。」

该工作被 AAAI 2021 接收，并作为黑洞特征提取的算法之一被应用到SgrA*的真实数据分析中。

论文地址：https://arxiv.org/pdf/2010.14462.pdf

3、从「大宇宙」到「小宇宙」

在Caltech这种培养了无数知名大神的研究院校，孙赫得以在天文成像领域更为深入地应用了人工智能的知识，并且将计算成像的研究经验从太空拓展到了生物医学领域。

相关的研究缘起于他们与哈佛大学医学院的研究人员在压缩传感磁共振成像（compressed sensing MRI）方面的合作。

「事实上，黑洞成像与核磁共振的物理原理是非常相似的，几乎可以说是一模一样：它们都是通过采集一些频率稀疏的信息来重构图像。」孙赫告诉AI科技评论。

除深度概率成像外，孙赫在博士后期间研究的另一个主要课题是利用端对端的深度学习方法对下一代事件视界望远镜（ngEHT）的进行自动化新台址选址，从而优化黑洞观测的数据采集质量。由于黑洞成像和核磁共振成像的相似性，相关算法完成后，孙赫和合作者很自然的想到了将类似方法方法拓展核磁共振这一生物医学成像模态中：

「数据采集也是核磁共振的重要目标之一，一次核磁共振全扫描可能长达一个小时，如果能在短时间内采集到高质量的数据用于成像诊断，不仅可以提升患者的就医舒适度，也可以显著降低核磁共振的价格，从而造福更多人。」

从这一思路出发，孙赫与合作者提出了一个完全可微的端对端的核磁共振采样策略优化框架。该方法可以同时学习最优的核磁共振采样策略与最优的图像重构方法，并能够实时的根据已采集的数据调整采样方案，因而可以在较短的采样时间内采集到丰富的信息。

论文链接：https://arxiv.org/pdf/2105.06460.pdf

凭借这个工作，孙赫与其合作者获得2021年机器学习健康大会（ML4H）的最佳论文奖。

「这个工作最巧妙的地方是把扫描设计成一个多阶段的数据采集过程。通常的核磁扫描轨迹是一个固定的模式：无论病人本身的情况是怎样的，在他躺进机器之前核磁机器的扫描轨迹就已经确定了。但我们的想法是让核磁共振随时调整自己的扫描路径，先粗略扫描了解大概的身体结构，再重点扫描潜在的病灶位置，这样我们就可以不断采集新的信息，利用前期的信息来指导后期的扫描，用更短的时间达到相同的图像质量。相当于把『离线』换成『在线』。」孙赫介绍。

对比天文成像与生物成像，孙赫认为，虽然不同的成像设备均有自己的独特之处，需要从具体需求出发开发 AI 工具解决实际问题，但「成像」本身包含的技术内容是互通的：它们均运用了物理规律来进行建模，用于数据处理的 AI 算法是通用的，仪器设计的许多工具也是一样的。此外，它们都对 AI 算法的可解释性提出了很高的要求。

孙赫认为，科研的最终目标是服务于实际应用，而生物医学是一个非常有前景的领域。他在天文成像上的研究经验能够拓展至生物领域，在更海量的数据场景中检验 AI 算法的能力，这自然让具有强烈科研好奇心的他十分激动。

除了计算成像知识的通用性以外，孙赫对生物成像感兴趣的另一个原因，是受到身边人的影响。

据孙赫介绍，他的母亲是一位超声医生，所以他从小就对各种成像模态（Imaging Modality）十分感兴趣。此外，他的两位科研导师——N.Jeremy Kasdin与Katie Bouman——均是勇于探索的科学家，在科研态度上为他树立了崇高的榜样：

「我的博士导师 N.Jeremy Kasdin 在读博时研究的方向是GPS，任教后才开始研究太空望远镜与系外行星，可以说是在普林斯顿从零开始探索。而到了博士后，我是 Katie Bouman 实验室的一号员工，也见证了她从 0 到 1 搭建团队并不断拓展自己研究边界的过程。」

于是，2022年，在找教职时，孙赫并未局限于航空航天和计算机方向，在拿到北京大学未来技术学院的offer后，出于对生物成像深入探索的好奇心，以及对母校的热爱，毫不犹豫地就选择了回国任教。

「能够在母校做出最好的科学，对我也有着不一样的意义。」孙赫这样说。

4、新的征程

今年5月，孙赫正式加入北京大学未来技术学院担任研究员，并隶属于北京大学国家生物医学成像科学中心。

北京大学国家生物医学成像科学中心成立于2020年9月，由著名细胞生物学与生物物理学家程和平院士领衔，主要研究目标是建设生物医学成像大设施，包括核心成像设备、全尺度图像整合系统及相关辅助平台等，为生物医学研究提供新技术、新手段、新工具，帮助实现原创性的科研突破。

这与孙赫的科研追求十分契合。在他的博士毕业论文中，他曾引用知名物理学家 Freeman Dyson 的观点来诠释自己的科研兴趣：

「New directions in science are launched by new tools much more often than by new concepts. The effect of a concept-driven revolution is to explain old things in new ways. The effect of a tool-driven revolution is to discover new things that have to be explained.」

（新的科学方向往往是由新的工具、而非新的概念触发。概念驱动的革命影响是用新的方法来解释旧的事物，而工具驱动的革命影响是发现需要被解释的新事物。）

孙赫表示，加入北大后，他的研究方向仍是「计算成像」，包括天文成像与生物成像，通过对成像系统的物理模块与计算模块协同优化，应用 AI、控制与光学等等学科的知识提升系统的观测能力。「AI 在计算成像的各个模块中均有广泛的应用。AI+科学成像也正在重新定义我们探索世界的边界。」孙赫谈道。

这些天，刚刚步入教职行列的他正在紧锣密鼓地筹建他的课题组，当被问及希望招到怎样的学生时，孙赫表示，他希望寻找自己「未来的科研合作者」，所以，他希望招到对研究计算成像感兴趣、有主人翁精神的学生，像他与他的导师们一样，能够师生携手共进，一起揭下更多科学问题的神秘面纱。

参考链接：

1. https://eventhorizontelescope.org/blog/astronomers-reveal-first-image-black-hole-heart-our-galaxy

2. https://www.caltech.edu/about/news/caltech-researchers-help-generate-first-image-of-black-hole-at-the-center-of-our-galaxy

3. https://mp.weixin.qq.com/s/baxruVsXKJHgsbHrWIK7CQ