精确定位

针对煤矿巷道掘进，掘进面是盲巷作业，易造成粉尘集聚，依靠操作人员坐在或站在操控台上手动控制，视线受限影响操作人员对现场的准确判断，存在安全隐患，我们研发了虚拟远程控制系统、悬臂式掘进机环境感知技术、悬臂式掘进机机身位姿精确定位。借助机器视觉技术、智能检测与控制技术、远程通信技术实现远程操控以及精确定位来实现。视觉测量系统工作时，利用前置防爆工业相机采集防爆标靶的图像，后置防爆相机采集两激光指向仪的图像信息，将采集到的图像经以太网传输至防爆计算机中，在计算机中分别对红外LED特征图像和激光图像进行图像处理，获取标靶红外点特征和激光点线特征信息。通过构建测量系统全局坐标系，利用单目视觉测量原理，建立基于共面特征点的截割头位姿视觉测量模型和基于门形三线的掘进机机身位姿视觉测量模型，结合得到的图像特征解算掘进机截割头和机身在的位姿坐标。得出掘进机在巷道的位置，反馈至虚拟现实界面中，显示在机器人虚拟样机上，完成掘进机的定位，操作人员通过虚拟现实界面实现人机交互，远程干预定位辅助决策，增强定位可靠度。

掘进机机身定位

1)功能：将采集到的每帧图像进行处理，计算出机身位姿。

2)输入参数：输入图像(Mat)等，标定参数（可以是矩阵，也可以是数组），激光指向仪参数等。

3)输出参数：机身位姿。可以是矩阵也可以是数组。

图1悬臂式掘进机位姿视觉测量系统工作原理图

图2掘进机位姿测量对比分析

图3掘进机可视化自动截割监测界面

图4硬件整体布局

图5掘进机可视化参数界面

图6掘进机可视化参数界面

图7相机参数设置界面

采掘装备远程智能控制

通过将虚拟现实技术应用于采掘装备远程智能控制，利用多种传感器和多维化信息的环境交互能力，结合计算机的逻辑思维和人的抽象思维能力，将物理世界数字信息呈现于可视化的虚拟数字世界，实现“数据驱动，虚实同步，动态修正，碰撞检测，人机协作”的远程控制系统。

在“视频监控”和二维监测信息基础上增加虚拟操控平台。利用本地采集的掘进机状态信息驱动虚拟模型，以三维虚拟场景实现人机交互。视频信号不是主要决策依据，可以做到“无视”粉尘和水雾，借助虚拟场景中的碰撞检测实现碰撞预测，对复杂场景和设备群异常碰撞自主预测意义重大。虚拟样机通过读取数据库信息，利用数字孪生技术建立掘进机动态修正模型从而驱动虚拟样机的运动，使虚拟样机与物理样机的运动姿态实时保持一致，以实现远程操控的功能。

图1 人机交互远程操控系统

图2 悬臂式掘进机远程智能虚拟操作系统实验平台

图3 悬臂式掘进机虚拟现实操作平台

图4 远程操控系统

图5 智能掘进的数字孪生远程监控系统