三维模型与视频监控融合关键技术研究

Safety in Coal Mines

Oct. 2019

DOI: 10.13347 / j. cnki. mkaq .2019.10.025

關氏鐵

三维模型与视频监控融合关键技术研究

张维“2'徐华龙

(1•煤炭科学技术研究院有限公司，北京1000丨3;2.煤矿应急避险技术装备工程研究中心，北京100013;

3.北京市煤矿安全工程技术研究中心，北京100013 )

摘要：针对煤矿传统视频监控存在零散孤立、画面局限、利用率低、关联性差等诸多问题，通过 研究监控视频和三维模型的贴图融合技术，使原本碎片化的实时监控视频在一个整体场景中 360°全景立体监控，实现虚拟模型与实时监测的有机结合。360。全景立体监控帮助用户迅速纵览 矿山全局，提升了安全保障能力和监控追溯效率。

关键词：三维模型；视频监控；点位规划；融合拼接；一张图中图分类号：TD679

文献标志码：B

文章编号：1003-496X (2019) 10-0112-03

Research on Key Technologies of 3D Model and Video Monitoring Fusion

ZHANG Wei1'23, XU Hualong1-2-3

Cod Science cmd Technology Research hstitute Co” Ltd.，Beijing \\Q0Q\\3，China;2.CoaJ Mine Emergerw)，Escape Technology Equipment Engineering Research Center, Beijing 100013, China\\7>.Beijing Coal Mine Safety Engineering Technolog) Research

Center, Beijing 100013, China)

Abstract： Aiming at the problems of scattered isolation, picture limitation, low utilization rate and poor correlation of traditional

video monitoring in coal mine, this paper studies the mapping fusion technology of monitoring video and three-dimensional model to make the original fragmented real-time monitoring video in a whole scene 360° panoramic stereo monitoring and realize the organic combination of virtual model and real-time monitoring. 360° panoramic stereo monitoring helps users quickly survey the whole situation of the mine, which improves the safety assurance ability and monitoring traceability efficiency.

Key words: three-dimensional model; video surveillance; point planning; fusion splicing; one graph

当前视频监控技术的应用为保证煤矿安全生产 进行全局实时把握和控制，方便矿山技术人员管理， 提供了可靠的技术支持。但传统监控视频监控面临 真正实现为矿山企业宏观指挥监测、整体关联、综合 着视频庞杂、离散、局限、关联性差等诸多问题，造 调度提供有效手段。成了视频资源的利用率较低，无法有效、直观、准确 监控视频' 数字视频监控系统基本采用传统可切 1

三维模型与视频监控相融合的制作思路

换矩阵，轮流呈现矿区井上下各摄像头图像，在监 如何将三维模型与监控视频融合到一个平台软 控时域和空域上存在盲点。由于缺少监控区域的整 件里，实现整体的管控，基本上需要经过几个步骤来

体场景信息，很难将二维的监控视频同实际三维环 实现。最为关键的2大要素是:视频监控布局与模型 境进行有效关联，海量零散孤立的监控视频“看不 分类。视频监控布局是最关键的步骤，从绘制摄像 过来”。现有监控系统采集的视频数据量巨大，面对 机安装布置图到摄像机安装，再到依据视频图像放 海量的实时视频信息，当出现应急响应事件时，监 置参照物，截取视频图像，截取视频中贴图到Plane 控人员很难在海量信息中快速检索目标和事件。

模型设计，每个步骤都是缺一不可的。在搭建模型 通过研究矿井监控视频和三维模型的贴图融合 时，也要做到分类建模，哪种模型是要用到视频图像 技术，使原本碎片化的视频在真实三维场景中360 中的贴图的模型将它归类为Plane模型，当所有模 度全景可视，实现全矿井动态视频监控“一张图”管 型在MAX中搭建完毕，将此文件以Mesh文件格式 寧_，帮助用户毋览矿山全局，对井上下大场景

导出，在三维软件平台中查看融合拼接效果.技术 基金项目：煤炭科学技术研究院科技发展基金资助项目(2018JC08)

路线图如图I。

•

112.

第 50 卷第 10 期 2019 年 10 月

令

v〇1.50

No. 10

Safety in Coal Mines Oct. 2019

图1

技术路线图

2三维模型与视频监控融合关键技术

2.1视频监控点位置规划技术

井上下视频监控“一张图”是由无数张摄像机镜 头监测画面拼接融合而成，融合质量与每一个摄像 头的布局紧密相关。每张视频图像与临近视频图像 的重叠部分，不能过多重叠造成浪费，不能过少重叠 影响拼接和画面过渡效果。点位如何规划直接影响 三维模型与视频监控的融合质量。

首先，利用摄像机本身的属性，安装摄像机之前 必须了解视频监控系统的基本要求与特殊要求[21。 其次，利用原有矿区的平面图纸做1个大致的摄像 机安装布局。再者，利用摄像机的拍摄角度大小确 定摄像镜头与镜头之间的长短距离，长短距离的控 制这一点是最关键的。摄像机镜头存在近大远小的 透视原理问题，离摄像机镜头越远的事物就越渺小, 越渺小证明变形是越来越大的。经过研究发现，可通 过调整摄像头之间的距离来降低图形崎变矫正ra。1 个摄像机镜头的拍摄画面大致可采用80%，另外 20%为消减部分。依据这个1:4比例来确定相邻摄 像头的准确安装位置。最后，当第1个摄像头确定 好它的视角后，统一规划区域内其他摄像头视角定 位，便于快速找到摄像头之间的共同拼接点,为接下 来的融合拼接工作打好基础141。2.2图象重叠区域的拼接技术

多个具有重叠视角的摄像头，其采集到的视频 信息具有冗余性、局部相似的场景信息|51。以往的图 像拼接技术受运动位置不规则、背景光线、图像排列 顺序等各种原因影响图像拼接|«1。为了用更直接、更 快方法实现井上下视频“一张图”管理，研究了以下

的具体方法，通过对三维模型的编辑修改，实现图象 与图象重叠区域的融合拼接。

1)

参照物的形状选择。首先必须依据参照物来

辅助做更快更准的拼接，任何事物都是有横向与纵 向之分的，若只满足了横向的匹配，纵向没有匹配则 会造成事物的变形。因此，在选择参照物的时候一 定要考虑到横向上的垂直性与纵向上的垂直性，可 减少出现跑偏的可能性。正好“+”能同时满足横向 与纵向延续性，比如在拼接第2张图的时候，若是横 向上的第2张图，那就应该找到前1张图的“一”对 齐;若是纵向上的第2张图，那就应该找到前1张图 的“I”对齐;只有当横向上的线与纵向上的线保持在

一

条水平线上时，就能更快更准得拼接上[71。2)

参照物的颜色选择。参照物的选择需要满足

在画面中能快速找到的它。任何一个场景中都存在 各式各样的事物，若采用黑色或白色这种不显眼的 颜色，很难第一眼就发现参照物。特别是在煤矿这 种环境中,黑白是最容易被实际事物给掩盖的颜色。 所以对于参照物的颜色选择直接关系到后续拼接工 作的效率。所以选择个鲜艳的颜色非常重要，在此 建议选择色相与纯度较高的颜色。比如纯红色，红 色是最抓人眼球的，在现实当中也有警示的寓意。 所以建议参照物选用红色。更有标识性|8]。

3)

参照物的位置选择。参照物摆放的位置同样

是视频图像拼接工作重要的一个环节。首先摆放的

位置必须是2个视频镜头均可拍摄到的重叠部分， 其次重叠的部分应该选择尽量变形小的位置，即是 2幅图像的80%的位置。条件允许的情况下,建议保 持依次相邻的视频图像在1个水平线上的整齐划一 的排列，方便后期模型贴图修改处理，十字参照物 位置图如图2。

\\ 1/ \\l M

摄像头1 摄像头2

图2

十字参照物位置图

2.3 三维模型与视频画面融合技术

摄像机安装位置一旦确定，不可随意更改摄像

.113 •

第50卷第10期2019年10月

•it 分!i4r

Safety in Coal Mines

V〇1.50 No. 10

Oct. 2019

机的视角，以免在后期输出模型时拼接处出现错位 的可能性，依据视频画面和拼接技术要求确定参照 物位置，同时抓取当前视频画面作为融合基础贴 图。贴图输出完成后主要工作是，将透视贴图转换 成现实中的轴侧贴图。

1) MAX中面片Plane模型的搭建，Plane模型需 注意保持与贴图的长宽比例成正比，贴图的长宽像 素比来确定Plane模型的长宽比例。Plane模型的分 段数也是一重要因素，分段数过多会造成模型三角 面片多增加内存负荷，降低系统的运行速度；分段

数过少，容易增大模型和图像拼接时变形的概率。

2) 三维模型与贴图的吻合。多个监控镜头摆放 的位置角度不同，不能保证每个摄像头采集到的图 像是处于同1个水平上的。拍摄到的视频都是透视 图，如何将这些透视图转化成轴侧图，是需要图像

透视变换的|91。在3DMAX中利用FFD4x4x4编辑修 改器，既能保证正确的贴图不变形，还可将远处变 小的透视图部分修改成正确的视图。FFD4x4x4编 辑器的原理对模型进行变形处理的命令,FFD后面 的数字代表可编辑节点，当选择1个点时，跟此点相 关联的周围点也会根据此点发生变形，越近的点变 形越大，越远的点变形越小。在FFD4x4x4编辑器里 主要利用Control point来进行模型修改，FFD控制点 多的同时，模型上的节点需相应增多方可起到相应 的效果。当贴图附给模型之后，一定要将贴图显示 在模型中的命令打开，方便实事查看修改，在模型 拼接时有助于做到无缝衔接。3

应用

基于以上视频监控点位规划技术，在某一园区 大楼楼顶四周安装了 13路海康机摄像头,实现了 大楼周围的一张图监控管理。将大楼四周的视频监 控镜头中各截取1张贴图，把每张贴图附给相对应 的模型，当贴图显示在模型上后，利用参考物来拼 接重叠的部分，依据FFD4x4x4将模型进行修改，直 至面片Plane模型与面片Plane模型的拼接部分完 全对上，同时实现与大楼三维模型的融合，导人数字 矿山三维综合管理平台DM3D中，可任意进行放大 缩小浏览，三维场景中实时查看动态监控一张图™。 三维场景整体效果图如图3。4

结语

针对煤矿传统视频监控存在零散孤立、画面局 限、利用率低、关联性差等诸多问题，研究的全矿井 •114-图3

三维场景整体效果图

监控视频和三维模型的一张图融合技术，使原本碎片化的视频在真实三维矿山场景中360°全景立体 监控，实现全矿井动态视频监控“一张图”管理，帮助用户迅速纵览矿山全局，提升安全保障能力和监 控追溯效率，为矿山企业宏观指挥监测、整体关联、 综合调度提供有效技术手段。参考文献：

[1] 厦世民.利用计算机技术进行煤矿远程综合监控系统

设计与实现[J].煤炭技术,2011( 10): 103-105.

[2] 李双安，张会萍.浅析数字化矿山视频监控的安装要

求及发展趋势[J].世界有色金属，2016( 19):51-52.

[3] 张迪.智能车中摄像头的图像畸变矫正[J].信息系统

工程，2012(7):82-83.

[4] 刘畅，金立正，费树岷，等.固定多摄像头的视频拼接

技术[J]数据采集与处理,2014,29(1): 127-128.

[5] 严宏海.多路视频时空关联接人及视频信息融合[D].

武汉：武汉大学,2017:38.

[6] 王立鹏.图像拼接技术研究[D].北京:北京交通大学，

2010:4.

[7] 李燕华，赵虹宇，候振杰，等.基于参照物的三维重建

策略[J ].微计算机信息，20丨1,27 (8): 234-236.

[8] 刘云华，史林.色彩语言的选择方法及其应用[J].浙江

纺织服装职业技术学院学报,2005( 1) :23-27.

[9] 曹惠龙.三维虚拟与实景视频的融合平台研究及设计

[J ].电脑知识与技术，2009( 11 ): 2985-2990.

[10] 王锦绣，张凌，张媛媛.解析3DMAX在肝脏建模中的实践应用—以电视教材《右半肝切除术》中肝脏缄

默为例[J].价值工程，2013(35 ):204-205.

作者简介：张

维（1980—),女，湖南怀化人，工程师，

本科，2004年毕业于北方工业大学，主要从事三维设计和

视频动画等工作。

(收稿日期：2018-12-20;责任编辑：李力欣）