报告人：北京大学黄铁军教授 记录人：闫苗 张嘉宾（程和平实验室）
2021年12月7日下午，北京大学计算机学院黄铁军教授在未来技术学院报告厅带来了一场题为“超高速脉冲相机在生物医学连续观测中的应用探讨”的精彩报告。
1. 背景介绍：
睛是心灵的窗户，人获得的所有视觉体验，都来源于人眼对外部光信号的处理。
电子相机在很多方面类比了人类的视觉系统，但在对高速运动物体的连续记录上，电子相机技术还存在概念上的瓶颈：人眼对外界的记录是连续的，但现有的录像和视频技术每秒只记录几十帧的信息（图1），每帧记录时间只占几毫秒，导致约有90%的信息丢失。这种信息缺失与不连续给超高速物体的检测、跟踪和识别带来了很大的挑战。
图1 视频格式导致的信息丢失
2. 报告回顾：
黄铁军教授秉持着“By BIO, for BIO”的理念，在对视网膜的信号处理过程进行解析、仿真之后，创新性地发明了支持高速摄影的仿视网膜的脉冲采样方式。采用这种脉冲采样方式的相机，能够在普通芯片配置下，实现每秒4万帧效果的超高速摄影，完成了从图像记录到脉冲流记录的概念飞跃。同时，这种脉冲流存储方式能够更好的与脉冲神经网络衔接。受生物学原理的启发，匹配电子的速度，实现对超高速物体的检测、跟踪与识别。
通过对视网膜的研究实现超高速脉冲相机，是黄教授“By BIO”理念的诠释；未来，如何将这一仿生技术回馈于生物医学观测以实现“For BIO”？在报告厅内各位老师也对此进行了精彩的讨论。
2 仿视网膜采样模型与生物视网膜的对比
3. 代表性工作一：实现初级视觉信号处理过程的解析和仿真
我们对于外部世界的大部分感受和记忆来源于视觉，所以解析视觉系统是一项非常重要的工作。黄铁军教授及其合作者在北京市“脑认知与类脑计算”专项《大脑初级视觉系统解析仿真》项目的支持下，对视网膜的六十多种细胞进行建模，并将这些细胞模型组合搭建了视网膜中心凹仿真网络。当给该仿真网络以真实图片输入时，它能模拟得到单神经元级别的反应（视频2）。同时，在黄铁军教授团队对视网膜细胞及处理过程进行精细模拟中，发现一些生物学原理能够优化深度学习。例如视网膜光感受器（Photoreceptor）之间存在的间隙连接（Gap junction）能够降噪并且提高感光的动态范围；现有人工神经网络没有相关机制，而将间隙连接机制加入神经网络中能够提高深度学习的图像分类性能，提高神经网络针对噪声数据的对抗能力。
视频2 视网膜中心凹仿真网络
4. 代表性工作二：发明仿视网膜的超高速脉冲相机
现在的视频格式是十九世纪胶片思维和电影视觉暂留技术的产物，这种视频格式天生不具备记录超高速运动物体的能力。例如对于每秒30帧的视频来说，平均每33ms放映一帧图像，而这帧图像是几毫秒曝光时间的外部光线叠加。这样的视频格式有两个问题，一是每33ms时间里，绝大部分时间都没有记录传达任何信息；二是图像是在几毫秒的曝光时间中记录的，对于超高速运动物体而言，几毫秒也会有较大的位移，从而在图像上形成运动模糊（Motion blur）。
图3 高速运动物体的运动模糊（图来源网络）
为了解决这两个问题，从而对超高速运动物体实现更好的记录，黄铁军教授创新性的提出了“先记录后反解成像”的脉冲视觉模型。这种模型在采样方法和重构方法上都对现有视频格式进行了革新。在采样上，是类比生物视网膜，通过脉冲采样方式将光子流直接映射为比特流，即每个感光单元独立持续收集光子，能量达到阈值就产生一个脉冲，实现脉冲记录（图4）。而普通光电器件响应时间数十纳秒，采用脉冲模型，就可以实现约十纳秒一次异步采样的超高速视觉。在重构方法上，针对得到的脉冲光子流信息，黄铁军教授团队提出了两种算法，分别实现了对高速图像和动态场景的重构。这两种算法分别是TFSTP，根据脉冲流反推像素值；和Spk2ImgNet，从连续脉冲流直接重建动态运动过程的影像（图5）。
图4 对明暗不同区域的脉冲记录
图5 根据脉冲流重构高速运转磁盘的图像。（a）iPhone11拍摄高速运动对象呈现运动模糊。（b）脉冲相机拍摄的影像。（c-f）不同算法计算得到的图像重构结果。
5. 代表性工作三：实现超高速运动对象的检测、跟踪与识别
脉冲神经网络（Spiking Neural Network, SNN）启发于生物神经网络，被认为是继第二代神经网络（Artificial Neural Network, ANN）之后发展的第三代神经网络。近年来，SNN配合相应硬件在图像分类、目标检测任务上降低到约百分之一的能耗。黄铁军教授受视觉系统的启发，提出了多层SNN，从而实现了对超高速运动对象的检测与追踪。该技术实现了对10马赫级别的高速物体（如导弹）在40m外的成像与追踪（图6），将广泛的应用在高速对抗、自动驾驶等领域中。
图6 超高速成像与跟踪识别
6. 超高速脉冲相机在生物医学观测上的前景展望
生物体的许多生理活动都以很快的速度进行着，比如神经细胞动作电位的变化过程大约在1ms，如果在低帧率条件下观察这些生理活动，往往不能全面的观察其变化过程。超高速脉冲相机的问世，有望降低观测成本，大大提高观测时长，为记录这些快速的生理活动提供可靠手段。
近年来，计算成像辅助了光学超分辨的发展。脉冲相机能否因其全时连续成像、超高动态重构和超高速过程观测的特征，给生物医学观测带来改进呢？在场师生也建议，可以观测超声造影下纳米液滴生成微泡的运动、心脏瓣膜和血液涡流等重要的生物医学现象。
7. Q&A
在黄铁军教授的精彩报告之后，他还和在场师生进行了热烈的交流。
问题1：如果物体是非匀速运动的，记录会不会出现问题？因为脉冲记录采用了一个阵列，所以非匀速运动的物体发射光子，会不会导致接收阵列的记录混淆呢？
回答：问题描述的程度是到达物理极限的程度。目前脉冲相机实现的光子和比特的转换，还远远没有达到一个光子和一个比特转换的程度。现在的通常情况是几亿个光子激发一个比特脉冲，而在极限测量时需要新的革新。但这种采样方法的原理层面创新确实革新了现有技术，模仿了生物的眼睛。
问题2：脉冲相机可以在高的时间分辨率下（10ps）实现对激光镜面反射和散射的捕获，那如果该相机想应用在生物医学观测的荧光显微下，即在弱光光子计数条件下，该相机会有什么强项呢？即脉冲相机到光子计数层面上，它的理论下界是什么呢？
回答：目前，关于这部分还只有调研，没有进行理论上的推导。但是脉冲相机在时间分辨率上有达到10ps的性能，所以在观测荧光动态变化上可能有相关应用。现有的一些单光子阵列检测的仪器，可能会到记录几十个光子的程度，但是该仪器的反应速度有限。而PMT、APD可以检测达到微秒级，但在价格上会更昂贵一些。（注：PMT为光电倍增管，APD为雪崩二极管）
问题3：在实现弱光的探测器时，可能会面临阵列面积太大的问题。解决这个问题可能可以运用视觉的又一个原理，即人眼在观测物体时，是通过快速微小的运动来提高空间分辨率。当器件在振动时，能不能通过高的时间分辨率来提高空间上的分辨率？
回答：可在理论上做一些相关尝试，但是在实际生物荧光应用上可能还有很长的路要走。
问题4：汪立宏教授观察光脉冲的工作和您的工作有什么区别呢？是硬件上的创新还是什么创新？
回答：汪立宏教授的工作主要是算法层面上的，在压缩采集和算法重建方面的创新。脉冲相机的创新主要是相机采样模型上做出的算法上的创新。
问题5：这个脉冲相机的灵敏度可能做荧光比较难，但是做明场成像和暗场成像可能是适合的。生物学上有研究分子马达机制的，分子马达的运动是结合有序运动和热运动。而在解析它的机制时，有序的过程都能够拍摄观测，因为它每秒平均运动几十次左右。但是它的热运动是十几微秒的过程，一直没有能够捕捉，这个有趣的生物学过程，脉冲相机是不是能够很好的应用呢？
回答：是的，可以运用相机去试试。
8. 参考文献
[1] Kandel, Eric R., et al. Principles of neural science. New York: McGraw-hill, 2000.
[2] Zheng, Yajing, et al. "High-Speed Image Reconstruction Through Short-Term Plasticity for Spiking Cameras." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[3] Zhao, Jing, et al. "Spk2ImgNet: Learning to Reconstruct Dynamic Scene from Continuous Spike Stream." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[4] Ding, Jianhao, et al. "Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks." IJCAI. 2021.