终检评审通过 创新训练 510电子与通信技术 智能交通国家级

在当今社会，随着城市的快速发展，人们生活压力增大。本项目从人性关怀角度出发，将所见世界的人、车、街道和建筑物等城市元素实时转换成动物、绿地，并叠加藤蔓等森林元素，既不影响人和车的正常出行，保留现实生活部分，又使得视野中的画面生机盎然，令人心情愉悦，即在不脱离现实的基础上加入虚拟成分以增添趣味性，从最直观的视觉角度为公众打造一个全新的虚实结合的真实世界，实现从冰冷城市现实棱角到自然森林虚实柔化的平滑转变。该项目基于计算机视觉、全景分割和边缘计算等技术，经由云服务平台搭建总体架构。我们利用Microsoft Hololens2的摄像头实时拍摄眼前画面，并传输至边缘计算节点，该节点主机的推理程序调用OpenVINO Inference Engine的API，利用已经预先训练好的全景分割模型对实例进行分割和分类，并将原图画面和结果的像素点矩阵传至云服务器，利用OpenCV和 Unity进行场景构建，并对画面中的人和车进行目标检测和特征点识别，最后将结果回传至Hololens2上，由此视野画面中加载了渲染后的输出效果。在出于时延、能耗以及可靠性等方面的考虑，我们重新设计基于边缘计算三级架构的搭建方案，力求获得最佳用户体验。