智能硬件

1. 高速相机

    智能加速团队长期从事实时高速视觉系统的开发,包括多个先端高速相机功能的开发,同时探索实时高速视觉在医疗、机器人、工业等领域的应用前景,积累了丰富的视觉算法研发及设备开发经验,相关的工作有:
(a)参与开发了世界领先的实时高速视觉平台IDP Express,并以此为基础开发了多个基于实时高速视觉系统的设备。开发了微流路中快速流动细胞的追踪测速及计数系统(2000帧/秒),开发了微流路中快速流动细胞的快速形态学统计分析系统(4000帧/秒),开发了针对显微视场的基于间歇性追踪技术的去运动模糊相机(1000帧/秒)、开发了显微视场中的高精度宽流量计测范围的全画幅光流设备(1000帧/秒)、开发了高速实时图像拼接系统(500帧/秒)等。在开发过程中,积累了微流路中细胞特性研究、硬件高速图像处理及毫秒级反馈控制方面的丰富经验。
(b)参与开发了世界最先进的实时高速视觉平台Photron SA-X2。该相机可以以1024×1024@12000帧/秒的速度进行实时图像捕获及硬件图像处理,是世界上最快速的实时面阵高速相机,如图24所示。本团队主要负责实时硬件图像处理算法的设计及实现。掌握了追踪目标ROI快速更新技术(0.1 ms级别),开发了超高速运动目标追踪追踪系统(12000帧/秒)、掌握了实时模糊度计算(0.1 ms级别)技术、开发了复杂背景下的超高速目标探测及识别系统(12000帧/秒)等,如图1所示,为本项目的实施奠定良好基础。

图1 12000帧/秒的复杂背景下的目标检测追踪系统

(c)自主开发了国内最先进的实时高速视觉平台。该相机可以以1280×864@3800帧/秒的速度进行实时图像捕获及硬件图像处理,是国内最快速的实时面阵高速相机。本团队从架构设计到PCB制板,再到多FPGA高速数据传输与同步,全部自主实现。在架构设计时已经留好充足的FPGA片内资源,可以用于多种实时硬件图像处理算法的设计及实现,为本项目的实施奠定良好基础。如图2所示。

图2 全自主高速实时相机系统(3800 fps)

2. 虚拟相机阵列

自主开发了多款虚拟相机阵列技术原型机,可用于远距离高速目标追踪及高价值目标搜索。

图3 远距离目标群凝视系统原型机(可见光)

图4 远距离目标群持续凝视系统界面(与雷达联动)
虚拟相机阵列技术应用示范2(远距离“低慢小”目标探测及追踪系统)

3. 线激光相机

4. 结构光相机

5. 白光干涉仪

相关成果

学术论文:


[1] Xianlei Long, Mengjuan Chen, Zhikai Li, and Qingyi Gu*, Region Probability Map-Guided Fast Wide-Area Multiobject Detection, IEEE Transactions on Instrumentation and Measurement (TIM), 2023, 72: 5003013, DOI: 10.1109/TIM.2022.3229702.

[2] Xianlei Long, Liping Ma, He Jiang, Zhikai Li, Yunze Chen, and Qingyi Gu*, Mechanical Particle Filter Based Active Vision System for Fast Wide-Area Multi-Object Detection, IEEE Transactions on Instrumentation and Measurement (TIM), 2022, 71: 9510113, DOI: 10.1109/TIM.2022.3201949.

[3] Xianlei Long, Idaku Ishii, and Qingyi Gu*, CellNet: A Lightweight Model towards Accurate LOC-Based High-Speed Cell Detection, Electronics, 2022, 11(9): 1407, DOI: 10.3390/electronics11091407.

[4] Jianquan Li, Xianlei Long, De Xu, Qingyi Gu*, and Idaku Ishii, An Ultra-High-Speed Object Detection Method with Projection-based Position Compensation, IEEE Transactions on Instrumentation and Measurement (TIM), 2020, 69(7), 4796-4806, DOI: 10.1109/TIM.2019.2953418.

[5] Michiaki Inoue, Qingyi Gu, Mingjun Jiang, Takeshi Takaki, Idaku Ishii, and Kenji Tajima, Motion-Blur-Free High-Speed Video Shooting Using a Resonant Mirror, Sensors, 2017, 17(11): 2483, DOI: 10.3390/s17112483.

[6] Mingjun Jiang, Qingyi Gu, Tadayoshi Aoyama, Takeshi Takaki, and Idaku Ishii, Real-Time Vibration Source Tracking using High-Speed Vision, IEEE Sensors Journal, 2017, 17(5): 1513-1527, DOI: 10.1109/JSEN.2016.2647690.

[7] Zhikai Li, Liping Ma, Xianlei Long, Yunze Chen, Haitao Deng, Fengxia Yan, and Qingyi Gu*, Hardware-Oriented Algorithm for High-Speed Laser Centerline Extraction Based on Hessian Matrix, IEEE Transactions on Instrumentation and Measurement (TIM), 2021, 70: 5010514, DOI: 10.1109/TIM.2021.3081163.

[8] Tianwei Wu, Xilong Liu, Mengjuan Chen, Qingyi Gu, Wenxiang Qin, Tingyu Yan, Jiawei Lu, Calibration and Measurement of Large Distortion Binocular Camera Based on Fully Connected Neural Network, 2021 IEEE International Conference on Real-time Computing and Robotics (RCAR), Xining, China, pp. 833-838, 2021.

发明专利:


授权专利号 专利名称 申请时间 发明人
CN114025101B 基于振镜的高速相机全景图像拍摄方法、系统及设备 2022-01-05 顾庆毅/陈梦娟/李志凯
CN114266836B 基于振镜相机的主动视觉三维标定方法、系统和设备 2022-03-01 顾庆毅/李庆/陈梦娟
CN114022571B 基于振镜的高速虚拟相机系统、观测方法及设备 2022-01-05 顾庆毅/陈梦娟/李志凯
CN114067000B 基于全景相机和振镜相机的多目标监测方法和系统 2022-01-05 顾庆毅/李志凯/陈梦娟