三维视觉与可视化专题
编者按
近期，“元宇宙（Metaverse）”成为了热门话题，国内腾讯、字节跳动等互联网企业相继进入相关领域，国外脸书、微软、英伟达等科技公司在元宇宙的赛道上争相布局。
元宇宙其核心是构建一个平行于现实物理世界的虚拟数字世界。如何构建现实物理世界的虚拟镜像，是实现元宇宙的关键技术问题。而视觉是人类感知世界的重要途径之一。随着三维传感技术的不断进步、深度学习的飞速发展以及三维视觉数据的爆炸式增长，三维视觉数据的获取、分析、理解、表达、建模、呈现、交互与可视化技术成为构建现实世界虚拟镜像的核心研究问题。本刊很荣幸邀请到北京大学前沿计算研究中心执行主任陈宝权教授、中科院深圳先进院程章林研究员担任客座编辑出版了《三维视觉与可视化专题》，与各位读者分享国内学者在三维视觉与可视化技术方面的研究成果。
本期客座编辑
陈宝权 教授
北京大学博雅特聘教授，现任前沿计算研究中心执行主任，国家”973计划“ ”城市大数据计算理论与方法“项目首席科学家。
研究领域包括计算机图形学、三维视觉与可视化。
程章林 研究员
中国科学院深圳先进技术研究院
主要研究领域包括计算机图形学、计算机视觉、虚拟现实、可视化等。
文章列表
2021, 10(6):3-19.
DOI: 10.12146/j.issn.2095-3135.20210630003
摘要:
自 2013 年工业 4.0 的概念被提出以来，全世界的工业进程都飞速奔向智能制造时代。而数据感知技术的发展进一步帮助收集海量工业数据，工业信息化革新正是机遇。但是，工业数据具有规模大、维度高、结构多变和内容复杂的特性，对其进行分析是一项严峻的挑战。多变的应用场景又导致分析的灵活度要求提高，往往需要专家参与分析循环，因此可视化在工业数据分析中有了更广泛的应用。该综述首先按生产阶段及属性分别总结了工业场景下常用的数据类型；其次，根据数据属性，按时间、空间、时空结合分类，介绍了对应的可视化方法；再次，总结了可视分析在工业场景下的应用，并讨论如何合理地集成自动化分析方法以提高分析能力；最后，展望了工业数据可视分析的发展前景，并提出未来的研究方向。
自 2013 年工业 4.0 的概念被提出以来，全世界的工业进程都飞速奔向智能制造时代。而数据感知技术的发展进一步帮助收集海量工业数据，工业信息化革新正是机遇。但是，工业数据具有规模大、维度高、结构多变和内容复杂的特性，对其进行分析是一项严峻的挑战。多变的应用场景又导致分析的灵活度要求提高，往往需要专家参与分析循环，因此可视化在工业数据分析中有了更广泛的应用。该综述首先按生产阶段及属性分别总结了工业场景下常用的数据类型；其次，根据数据属性，按时间、空间、时空结合分类，介绍了对应的可视化方法；再次，总结了可视分析在工业场景下的应用，并讨论如何合理地集成自动化分析方法以提高分析能力；最后，展望了工业数据可视分析的发展前景，并提出未来的研究方向。
2021, 10(6):20-33.
DOI: 10.12146/j.issn.2095-3135.20210311001
摘要:
拼贴画作为常见的设计类型与视觉艺术表现形式，被广泛应用于海报设计、Logo 制作等领域。但传统人工制作过程需要设计师大量地重复尝试，且很难依靠人工达到最优布局。该文从自顶向下与自底向上两种思路归纳总结计算机用于拼贴画自动生成的研究进展，对其中不同的算法进行了分析与对比，并对该技术的未来发展趋势进行了总结和展望。
拼贴画作为常见的设计类型与视觉艺术表现形式，被广泛应用于海报设计、Logo 制作等领域。但传统人工制作过程需要设计师大量地重复尝试，且很难依靠人工达到最优布局。该文从自顶向下与自底向上两种思路归纳总结计算机用于拼贴画自动生成的研究进展，对其中不同的算法进行了分析与对比，并对该技术的未来发展趋势进行了总结和展望。
2021, 10(6):34-57.
DOI: 10.12146/j.issn.2095-3135.20210618001
摘要:
基于可见光单图像的三维重构方法一直是计算机视觉领域的研究热点，该文从光照物体的材质和结构差异，以及成像过程中信息损失等因素着手，对基于光照模型、基于几何图元以及基于深度学习策略的三维重建方法进行了分类和概述，并分析讨论各类方法的优缺点以及未来的研究方向。
基于可见光单图像的三维重构方法一直是计算机视觉领域的研究热点，该文从光照物体的材质和结构差异，以及成像过程中信息损失等因素着手，对基于光照模型、基于几何图元以及基于深度学习策略的三维重建方法进行了分类和概述，并分析讨论各类方法的优缺点以及未来的研究方向。
2021, 10(6):58-73.
DOI: 10.12146/j.issn.2095-3135.20210630001
摘要:
传统的交互式植物建模虽然能构建较为精准的目标模型，但其过程极为费时，而基于L-system 的过程式建模虽然能快速自动生成复杂模型，但由于其较高的学习门槛以及对植物形态的控制性欠佳，使得普通用户难以操作。二维草图作为一种直观、高效的交互媒介，对植物形态具有良好的描述力。基于此，该文提出一种基于手绘草图的植物建模方法：首先，对创作者绘制的草图进行预处理和分析，推测创作者的创作意图；然后，结合植物学知识，提出相应的花朵、枝干和叶片的深度信息恢复方法来恢复二维草图中缺失的深度信息；最后，根据深度信息和一定的植物学先验知识重建出具有真实感的目标模型。该方法支持对花卉、草本、树木等具有枝叶结构的植物进行建模，同时具有较大的创作自由度和较快的建模速度。
传统的交互式植物建模虽然能构建较为精准的目标模型，但其过程极为费时，而基于L-system 的过程式建模虽然能快速自动生成复杂模型，但由于其较高的学习门槛以及对植物形态的控制性欠佳，使得普通用户难以操作。二维草图作为一种直观、高效的交互媒介，对植物形态具有良好的描述力。基于此，该文提出一种基于手绘草图的植物建模方法：首先，对创作者绘制的草图进行预处理和分析，推测创作者的创作意图；然后，结合植物学知识，提出相应的花朵、枝干和叶片的深度信息恢复方法来恢复二维草图中缺失的深度信息；最后，根据深度信息和一定的植物学先验知识重建出具有真实感的目标模型。该方法支持对花卉、草本、树木等具有枝叶结构的植物进行建模，同时具有较大的创作自由度和较快的建模速度。
2021, 10(6):74-85.
DOI: 10.12146/j.issn.2095-3135.20210630002
摘要:
该文提出了一种新的基于三维线云模型的平面提取算法：首先将三维线云模型的每条线段映射成高斯球面上的一个点，将三维空间中的平面提取问题简化为过球心平面的拟合问题；然后在高斯球面上做近似均匀采样，对过球心的平面进行拟合；最后根据平面方程的截距信息分离出平行的平面以达到提取平面的目的。实验结果表明，在提取平面的完整性以及平面提取的质量方面，该文算法比目前常用的平面提取算法有明显的提升。
该文提出了一种新的基于三维线云模型的平面提取算法：首先将三维线云模型的每条线段映射成高斯球面上的一个点，将三维空间中的平面提取问题简化为过球心平面的拟合问题；然后在高斯球面上做近似均匀采样，对过球心的平面进行拟合；最后根据平面方程的截距信息分离出平行的平面以达到提取平面的目的。实验结果表明，在提取平面的完整性以及平面提取的质量方面，该文算法比目前常用的平面提取算法有明显的提升。
2022, 11(1):40-51.
DOI: 10.12146/j.issn.2095-3135.20210928001
摘要:
室内场景生成任务是近年来热门的研究课题。它不仅能为计算机视觉任务提供天然带有标注的室内场景数据集，帮助其更好地理解场景，还能应用到诸多现实场景中，如机器人导航等。室内场景布局的多样性使得场景生成成为一项非常具有挑战性的任务。该文梳理了近年来在室内场景生成算法领域中的研究进展，从场景输入、场景上下文关系、场景表达方式、场景生成方式以及家具摆放顺序对生成算法进行总结分类，并以无样例的基于物体关系的生成方式、无样例的基于人类活动的生成方式以及基于样例和物体关系的生成方式 3 个分支对室内场景生成算法的发展以及优缺点进行分析。此外，该文还总结了现有算法的不足，并指出了室内场景生成算法未来可以尝试的方向。
室内场景生成任务是近年来热门的研究课题。它不仅能为计算机视觉任务提供天然带有标注的室内场景数据集，帮助其更好地理解场景，还能应用到诸多现实场景中，如机器人导航等。室内场景布局的多样性使得场景生成成为一项非常具有挑战性的任务。该文梳理了近年来在室内场景生成算法领域中的研究进展，从场景输入、场景上下文关系、场景表达方式、场景生成方式以及家具摆放顺序对生成算法进行总结分类，并以无样例的基于物体关系的生成方式、无样例的基于人类活动的生成方式以及基于样例和物体关系的生成方式 3 个分支对室内场景生成算法的发展以及优缺点进行分析。此外，该文还总结了现有算法的不足，并指出了室内场景生成算法未来可以尝试的方向。
2022, 11(1):52-65.
DOI: 10.12146/j.issn.2095-3135.20211001001
摘要:
在信息产业急剧膨胀的时代背景下，主流数字媒体产生了由文字到图片再到视频的演化，如何快速有效地获取视频中人物的关键信息，成为各大互联网娱乐和大数据分析领域争相研究的话题。然而，现有的人物信息获取方法还有极大的局限性，无法在视频界面直接获取信息。为了解决这一问题，该文提出了一种新的“由粗到细”的基于特征混合聚类和关键点检测的智能人脸搜索框架，实现了对互联网视频数据的实时检测与高鲁棒的视频人脸数据智能搜索。该文将大数据下人脸数据实时搜索工作细分，首先，通过基于多尺度深度特征混合聚类的人脸检测算法，使用 Softmax 函数实现数据分类，并运用中心损失函数 center loss 形成聚类中心，随后通过对中心点的回归矫正，达成人脸的粗筛选；然后，通过基于脸部关键点检测算法，提取 68 个人脸关键特征点，生成易于计算处理的标准化 特征码。此外，该文还构造了两个影视类人脸数据集，为后续相关互联网行业、娱乐多媒体提供大数据分析。基于该文章整体实验结果表明，在人脸快速检测方面，与现有的主流方法相比，该文方法在 识别精度和效率上，都具有一定的提升，其中，基于多尺度深度特征混合聚类算法实验的识别效率提升 31.2%，假阳性样本辨别力提升 3 倍，整体运行效率达标，具有一定的实用价值。
在信息产业急剧膨胀的时代背景下，主流数字媒体产生了由文字到图片再到视频的演化，如何快速有效地获取视频中人物的关键信息，成为各大互联网娱乐和大数据分析领域争相研究的话题。然而，现有的人物信息获取方法还有极大的局限性，无法在视频界面直接获取信息。为了解决这一问题，该文提出了一种新的“由粗到细”的基于特征混合聚类和关键点检测的智能人脸搜索框架，实现了对互联网视频数据的实时检测与高鲁棒的视频人脸数据智能搜索。该文将大数据下人脸数据实时搜索工作细分，首先，通过基于多尺度深度特征混合聚类的人脸检测算法，使用 Softmax 函数实现数据分类，并运用中心损失函数 center loss 形成聚类中心，随后通过对中心点的回归矫正，达成人脸的粗筛选；然后，通过基于脸部关键点检测算法，提取 68 个人脸关键特征点，生成易于计算处理的标准化 特征码。此外，该文还构造了两个影视类人脸数据集，为后续相关互联网行业、娱乐多媒体提供大数据分析。基于该文章整体实验结果表明，在人脸快速检测方面，与现有的主流方法相比，该文方法在 识别精度和效率上，都具有一定的提升，其中，基于多尺度深度特征混合聚类算法实验的识别效率提升 31.2%，假阳性样本辨别力提升 3 倍，整体运行效率达标，具有一定的实用价值。
2022, 11(1):66-76.
DOI: 10.12146/j.issn.2095-3135.20210629001
摘要:
传统交互设备的信息展示维度存在一定局限性，增强现实技术能够扩展交互空间和信息维度，但在信息的全局交互和决策中则略显不足。该文将传统移动交互设备 iPad 与增强现实设备HoloLens 进行结合，在 iPad 上展示整体的特征信息的同时，在 HoloLens 中进行细节的探索。基于这一设计思想创设了一种全新的交互环境，实现多层次多人多终端空间立体信息展示和交互方式，并以会场传感器日志数据为例，展示了该系统分析和处理问题的优势。
传统交互设备的信息展示维度存在一定局限性，增强现实技术能够扩展交互空间和信息维度，但在信息的全局交互和决策中则略显不足。该文将传统移动交互设备 iPad 与增强现实设备HoloLens 进行结合，在 iPad 上展示整体的特征信息的同时，在 HoloLens 中进行细节的探索。基于这一设计思想创设了一种全新的交互环境，实现多层次多人多终端空间立体信息展示和交互方式，并以会场传感器日志数据为例，展示了该系统分析和处理问题的优势。
2022, 11(1):77-87.
DOI: 10.12146/j.issn.2095-3135.20210701001
摘要:
随着计算机技术的发展，可视分析系统已不满足于传统的“屏幕-鼠标-键盘”的呈现及交互方式。近年来，数字沙盘投影系统越来越受到关注。该文在建设智慧校园的背景下，通过构建深度学习驱动的交互计算模型，实现支持多人协作、多道具交互的沙盘决策系统，设计并开发了交互式校园数字沙盘，并以校园活动热力模拟为应用场景，验证了该系统的可行性。
随着计算机技术的发展，可视分析系统已不满足于传统的“屏幕-鼠标-键盘”的呈现及交互方式。近年来，数字沙盘投影系统越来越受到关注。该文在建设智慧校园的背景下，通过构建深度学习驱动的交互计算模型，实现支持多人协作、多道具交互的沙盘决策系统，设计并开发了交互式校园数字沙盘，并以校园活动热力模拟为应用场景，验证了该系统的可行性。
2022, 11(1):88-96.
DOI: 10.12146/j.issn.2095-3135.20210930001
摘要:
在面曝光连续 3D 打印中，由于在有限的时间内，树脂填充距离有限，因此，打印实心结构过程中容易因为树脂填充不足而导致打印失败，连续成型适用于镂空结构或者薄片结构。另外，由于存在润滑液流失，基于浸泡润滑液的聚二甲基硅氧烷膜的连续打印高度受限。针对上述问题，该文提出了一种在模型引导下分层打印和连续打印相结合的数字光处理技术 3D 打印方案。该方案采用具有一定厚度、密度大于树脂且不与树脂混溶的氟化油(又称润滑液)形成打印平面，大大降低了成型物体和打印平面的粘附力，并进一步实验估计了液液界面下的最大可填充距离和最佳提升高度。基于最大可填充距离，结合模型切片的最小-最大距离，实现连续打印和分层打印的有机结合。此外，基于最佳提升高度，结合模型分析，保证了分层打印下平台提升高度最优。实验结果表明，该方案打印模型高度不受润滑液限制，且对于实心结构和镂空结构的模型都有较好的打印效果。与传统的分层打印方案相比，该方案大大提升了打印效率。
在面曝光连续 3D 打印中，由于在有限的时间内，树脂填充距离有限，因此，打印实心结构过程中容易因为树脂填充不足而导致打印失败，连续成型适用于镂空结构或者薄片结构。另外，由于存在润滑液流失，基于浸泡润滑液的聚二甲基硅氧烷膜的连续打印高度受限。针对上述问题，该文提出了一种在模型引导下分层打印和连续打印相结合的数字光处理技术 3D 打印方案。该方案采用具有一定厚度、密度大于树脂且不与树脂混溶的氟化油(又称润滑液)形成打印平面，大大降低了成型物体和打印平面的粘附力，并进一步实验估计了液液界面下的最大可填充距离和最佳提升高度。基于最大可填充距离，结合模型切片的最小-最大距离，实现连续打印和分层打印的有机结合。此外，基于最佳提升高度，结合模型分析，保证了分层打印下平台提升高度最优。实验结果表明，该方案打印模型高度不受润滑液限制，且对于实心结构和镂空结构的模型都有较好的打印效果。与传统的分层打印方案相比，该方案大大提升了打印效率。
