3D数字孪生

(1)人体极速扫描设备与3D数字人

团队研发的极速人体三维扫描系统,能够在1秒内对人体外形进行三维拍摄,快速重建出人体全身的3D模型,实现面部、 头部、手部等各个部位高精度三维重建,图像分辨率达8K,重建精度达到1mm。效果可以达到电影级别,精确到面部毛孔。

团队在3D数字人后处理上与应用上,配合UE5和metahuman进行模型导入,通过微调操作实现接近真人的面部表情和全身动作,配合动捕设备让资产惟妙惟肖同时可以完成人体模型的动作驱动、数字人的场景变化,实现数字人构建的智能化。能够广泛应用于虚拟试衣、VR/AR、游戏制作等。
团队研发的3D人脸重建产品已经投入量产,模型质量达到影视级数字人3D效果,纤毫毕现。具有以下优势:第一,速度快,2s拍摄,1分钟出模型;第二,处理能力强,连续拍摄,一小时至多处理100个数字人资产输出;第三,模型可快速进入元宇宙,使用多种方法进行驱动;第四,具备肢体动作,未来可自动生成表情和口型;第五,白模、纹理贴图精度高,可在大屏幕放大显示,可进行深度加工,定制化修饰数字人。全自动生成点云、网格化模型、纹理贴图。支持数据批处理,平均每组数据处理时间快至30秒。产品材质:航空铝合金。产品尺寸:长115cm,宽度105cm,高160cm。

(2)活猪三维重建设备与智慧养殖

猪体征数据的测量及记录可以细粒度跟踪活猪生长参数,实现精细化饲养提高饲养效率。传统的测量方法由饲养员完成对活猪进行各种体征数据测量,由于活猪的配合度并不高,该方式效率低下且测量的数据并不准确。本t团队研发了一套活猪高速三维重建与点云分析系统,基于结构光三维重建和交叉同步投影技术、点云处理技术、深度学习技术实现对活猪的实时高速三维重建,以及对猪体点云数据的去燥、拼接、分割、测量等处理,完成对活猪各项体征数据的高效准确的获取与测量。

相关成果

学术论文:


[1] M. Chen, S. Hu, K. Shimasaki, Q. Gu and I. Ishii, “A Visual-Feedback-Based Active Light-Section 3-D Reconstruction Method for Moving Objects,” in IEEE Transactions on Instrumentation and Measurement, vol. 73, pp. 1-12, 2024, Art no. 3001412, doi: 10.1109/TIM.2024.3406828.

[2] M. Chen, K. Shimasaki, S. Hu, Q. Gu and I. Ishii, “An Active Tacking and Projection-based 3D Reconstruction Method for Moving Objects,” 2024 IEEE International Conference on Advanced Robotics and Its Social Impacts (ARSO), Hong Kong, 2024, pp. 167-172, doi: 10.1109/ARSO60199.2024.10557939.

[3] Jianwei Guo, Xuejun Xing, Weize Quan, Dong-Ming Yan, Qingyi Gu, Yang Liu, and Xiaopeng Zhang, Efficient Center Voting for Object Detection and 6D Pose Estimation in 3D Point Cloud, IEEE Transactions on Image Processing (TIP), 2021, 30: 5072-5084, DOI: 10.1109/TIP.2021.3078109.

[4] Tingyu Yan, Jun Wang, Xilong Liu, Qingyi Gu, and Mengjuan Chen, Segmentation of Complex Object based on A Standardization Coding Method, 2019 IEEE Symposium Series on Computational Intelligence (SSCI), Xiamen, China, pp. 455-461, 2019, DOI: 10.1109/SSCI44817.2019.9002911.

发明专利:


授权专利号 专利名称 申请时间 发明人
CN110992258B 基于弱色差信息的高精度RGB-D点云拼接方法和系统 2019-10-14 刘希龙/陈梦娟/顾庆毅/马学健
CN110992259B 基于弱特征邻域概率匹配的点云拼接方法及系统 2019-10-14 陈梦娟/刘希龙/顾庆毅/马学健
CN113393514B 一种三维无序点云数据处理方法、系统及设备 2021-11-25 陈梦娟/刘希龙/顾庆毅/颜廷钰
CN110992274B 复杂曲面点云强噪音去除方法及系统 2019-11-12 刘希龙/秦文翔/顾庆毅/陈梦娟