毫无疑问,2月份国内最火热的赛事莫过于北京冬奥会:人见人爱的冰墩墩,如美如画的开幕式,以及假期“霸榜”的谷爱凌选手......都给观众留下了深刻印象。
这一精彩纷呈的赛事,背后离不开高新技术的支持。不论是场内外的安全防疫、观众引导和治安,还是场上捕捉精彩瞬间、赛事转播,以及现场8K观赛、线上VR观赛,背后都需要各类技术的融合支撑。
随着冬奥会走向尾声,各种AI技术也先后露面。今天,掘金志就来扒一扒冬奥会上,那些让人眼前一亮的「黑科技」。
首先,假设你为一名观众,正在体育场外等候入场,除了要检票之外,更重要的是测量体温、查验健康码,实现疫情的精准防控。
旷视为此提出「智能测温」解决方案,一方面可实现多人同时测温通行,另一方面能够实现非接触式AI辅助筛查疑似发热人员。主办方仅需要少量工作人员即可完成观众体温排查,在大幅度提升检测效率的同时,减少了交叉感染的风险。
进入体育场之后,你对场馆肯定是陌生的,不论是找座位,还是洗手间,都需要「室内导航」。
市面上常见的室内导航,主要依靠蓝牙、Wi-Fi等技术进行识别,成本高并且精度较低,容易受场景限制。在相对封闭的场馆,由于观众密集,手机信号很差,传统的室内导航效果并不明显。
为此,旷视研发出室内视觉定位导航系统,该系统采用室内视觉定位技术,无需对室内建筑环境二次改造,仅使用激光视觉地图采集设备对现有环境采集,就可以实现定位功能。
与传统室内导航相比,该系统主要有两个亮点:
精度提升至亚米级,相比较而言,传统GPS定位精度在5米左右,WiFi、蓝牙定位则是1-3米;
无需额外增加传感器,室内环境也不用加装辅助定位设备,具备成本优势。
旷视冬奥项目工程师张长胜表示,观众通过手机随手拍方式便可轻松定位;并且支持离线识别定位,在人流密度较大5G/4G无法完全覆盖的场所仍然可顺畅导航。
假设你已经找到了自己的座位,并开始欣赏选手们的精彩表演。但受限于人的视力、角度等问题,观众很难捕捉到比赛的精彩画面;并且,对于一些专业性较强的运动,观众需要专业解说才能感受到运动的美感。
例如,在被誉为冬奥会“国际象棋”的冰壶运动中,由于冰壶壶体较小,视距较远,并容易受到运动员身体遮挡干扰,座位席上的观众不得不借助于望远镜,或者现场大屏幕来观察细节。
为了解决这个难题,商汤基于视觉AI感知、深度学习、三维建模和空间定位等技术,打造了「冰壶运动轨迹捕捉」技术。
该技术克服了超大空间环境下基于远视距对较小物体运动轨迹精准捕捉的难题,通过对真实场景的数字化映射,实现对运动冰壶的检测跟踪和轨迹捕捉。同时,结合实时渲染、虚实同步技术,系统可以将冰壶轨迹进行精准还原,并将画面转化为视频流,输出至网络平台和现场大屏幕。
凭借该技术,不论是线下,还是线上,观众都可以近距离观察冰壶运动的细节、运动规律和赛况;解说员也能分析运动员的状态和投壶技巧、战术等,实现「AI观赛」。
与旷视类似,商汤在导航方面推出了「AR导航」,但侧重于室外,服务对象主要为奥运村的运动员和工作人员。
在张家口冬奥村中,由于奥运村及周边面积较大(超30万平米),要在短时间内构建高精度三维地图,对技术要求很高;而且,村内建筑风格统一,加上冰雪覆盖,这种环境下,很难基于图像来实现精准地识别自身位置。
对此,商汤通过GPS与视觉融合的数据关联方法和参数分块优化方法,以及综合利用视觉、蓝牙、GPS等信号等技术,并针对冰雪场景,训练了不同天气条件下鲁棒的图像特征,从而在复杂场景下,实现了6自由度空间定位。
据了解,该导航系统可以实现大尺度场景下厘米级的三维地图构建和部署,并解决了动态复杂场景下实现精准定位跟踪等难题。用户打开手机专属APP,打开摄像头识别周边环境,即可定位自身位置,输入目的地后,跟随AR虚拟箭头,即可进行导航。
对于冬奥而言,另一个重要的环节是,利用视频技术来甄别选手的动作是否违规,以辅助裁判对选手的得分情况进行更为准确的判罚,这既是对选手、赛事的尊重,也体现出举办方公平公正公开的奥运精神。
以往的判罚主要基于裁判的主观意识,而人本身会受限于视角、经验等因素,容易忽略一些动作细节。
比如,在一些速度快、赛道窄的项目中,受场地环境影响,成误判、错判等情况并不少见,从而影响选手的成绩和比赛的公平性。
大华股份为此研发出专门适用于冬奥会雪车、雪橇项目的「智能视频跟踪系统」,该系统能实现在高速移动场景下,捕捉到运动员在通过不同斜坡道的画面,并进行无缝衔接、有序展示,全程记录比赛的每一处细节,为裁判的判罚提供视频依据,保证比赛的公平公正。
该系统同样可用于改进运动员训练,为赛前训练提供数据支撑。运动员通过赛事视频进行回顾,可以发现难以察觉的动作细节或者说存在的动作缺陷,从而制定具有针对性的训练计划,来提高训练效果。
前面提到,在部分冬奥项目中,观众需要通过大屏幕来观察比赛细节。对于一些比赛场馆而言,户外大屏作为信息传递的重要平台,屏幕本身需要满足诸多严苛的条件。
比如,大屏幕要在极寒、防水条件下稳定运行,并且,8K转播技术对于IC芯片、电源的要求非常高。
宇视从实际场景出发,提供户外MW75XX系列P5产品,该产品主要采用了高刷新IC、高效防潮电源、IP65等级的信号等配置。
在防水方面,通过模组防水、箱体防水、关键器件防水的处理,保证在大雪或潮湿环境依旧可以正常工作。在耐寒方面,除了选用低温电源以外,还在屏体内安装制热设备,以保证设备稳定运行。
宇视在冬奥会上的另一个亮点,是参与了首都体育馆、冰雪小镇文创商街的智能安防系统的改造。
在首都体育馆的智能安防项目中,宇视提供了近1000路的高清视频监控、智能一体化存储、等产整网解决方案。整个场馆的实时数据可直接推送至奥组委平台,为奥运安全保障提供技术支持。
冰雪小镇文创商街的智能安防系统,宇视提供了近1500路的高清视频监控、智能一体化存储、超融合分析平台及LED大屏显控等整网解决方案,可在重要通道布置相应设备,结合后台数据,助力冬奥会的安保工作。
除此之外,宇视在智慧高速方面也有参与。
以延崇高速为例,作为进入冬奥会张家口崇礼赛区的公路主通道,宇视觉通过部署千余路摄像机,199套智能运维箱等设备,提高了交管平台的运营、管理效率等等。
许多比赛项目在户外举行,因此户外项目的安保工作也非常重要。
在场外,赛事场地通常会加装物理围栏或使用人力来维持安防工作,但在地形复杂、气候条件严苛以及昼夜温差大的环境下,如何为赛场提供安全防护工作、减轻人力负担,也是需要解决的问题。
例如,张家口密苑云顶乐园(冬奥会和冬残奥会比赛场地之一),占地面积约100平方公里,地处太行山和燕山交会的大马群山中,夜晚温度可达零下四十度。
这种恶劣条件下,依托人力、围栏等传统方式不但效率低、效果差,而且增加高昂的人力成本。基于此,中科智云及其合作伙伴共同研发了「智能哨兵机器人」。
该机器人运用了中科智云的识别算法和反入侵技术,能够分辨低特征差异,解决防攻击防伪装,稳定性问题。在日常监测中,机器人能全天候进行边界监控、目标识别、多目标跟踪、异物检测、道口警示等功能,并自动精准判断入侵者的类别,将监测到的情况或入侵者的行踪轨迹上传至后台指挥中心,从而确保赛场安全。
掘金志了解到,目前,已有13台智能哨兵机器人上岗,监测距离超过15公里,形成电子屏障,相当于传统200个警卫的安防力量。
作为国际性赛事,冬奥会的参赛人员、部分观众来自世界各地,语言各有差异,容易造成交流障碍;并且一些特殊人群,例如残奥会的部分选手、冬奥会的部分具备沟通障碍的观众,在参赛、观赛过程中也会遇到困难。
科大讯飞为此研发出了多语种智能语音及语言服务平台,以及各种翻译设备,提供定制优化的语音识别、语音合成、机器翻译、自动问答等服务。
据悉,该平台同时支持60个语种语音合成、69个语种语音识别、168个语种机器翻译和3个语种交互理解。冬奥场景下汉语与英、俄、法、西、日、韩等重点语种翻译准确率不低于95%;平均每句翻译响应时间不超过0.5秒。
科大讯飞高级副总裁杜兰表示,科大讯飞从3个方面助力本届冬奥会。
人与人的沟通,助力来自不同国家和地区的选手、教练、游客及志愿者等人群之间的语言交流;
人与组织的沟通,实现会议机器自动翻译及转写;
人与赛事的沟通,主要是帮助各国观众、游客快速掌握赛事信息,并辅助视障人士听得见奥运文字、听障人士看得见奥运声音。
科大讯飞还推出了诸如双屏翻译机、虚拟人智能交互一体机等设备,提升了多语种信息获取、发布、传播的及时性和便捷性,满足冬奥及冬残奥会无障碍、跨语言沟通的需要。
受制于疫情,能到现场观赛的观众终究是少数,许多人只能通过线上的方式,来参与冬奥、欣赏冬奥选手的高光时刻,这就需要用到8K直播技术。
作为目前最接近“人眼真实”的超高清技术,8K的分辨率是高清的16倍,在量化、帧率、色域等方面比4K更强,结合3D渲染等技术,能给观众带来“身临其境”的体验。
但要实现8K超高清直播,除了要采用专门的8K相机以及专业的调色、包装,进行采集制作之外,还涉及「编码传输」这一核心步骤。
编码传输,即是将视频数据量巨大的8K超高清视频,通过编码器来压缩8K直播信号码流,在减少传输带宽的压力的同时,使其适应8K超高清电视、8K超高清户外大屏等终端,最终能够流畅、稳定地呈现出来。
由于8K超高清直播要求低码率、高画质、高并发、低延时,这对编码传输带来了许多挑战。
一方面,视频数据量过于庞大,对计算性能(如算力、算法等)和编码效率的要求很高;
另一方面,在需要更高压缩率的同时,用户也对于画质提出了更高的要求。
因此,当虹科技通过与英特尔合作,推出了8K AVS3 超高清一站式解决方案。
这里提到的AVS3,是我国具有自主知识产权的视频编码标准(第三代),采用了更灵活的块划分结构、更精细的预测模式、更具适应性的变换核,比AVS2节省约30%的码率,从而提升编码效率。
同时,该方案基于图像分析及主观视觉的编码模型,通过数十万素材库的深度学习超分技术,以及不同场景、高低分辨率差别学习和AI训练,来提升编码画质。
在这次冬奥会中,当虹科技8K编码器还适配国内首个HDR标准(HDR Vivid),实现更大曝光动态范围,能更好提取和显示高光及暗部细节,丰富色彩和层次,增强纵深感,让画面更趋近自然。
在举办大型赛事期间,交通问题也显得较为突出,尤其是车流量剧增之后,交通执法也不能单靠人力巡查来解决。
为了保障交通的平稳运行,北京交管部门特意划分了42条近239.5公里的奥运专用车道。在这些车道上,部署着专用的“电子警察”,通过执勤交警现场执法,和卡口摄像机抓拍记录非现场执法两种方式,进行执法工作。
天地伟业为此推出了「天星环保卡口」和「超星光违停球」。
普通电子警察在夜间抓拍时,会产生瞬间爆闪,容易给驾驶员造成视觉障碍,存在一定的交通隐患。
天星环保卡口主要采取了双Sensor多光谱融合技术,入射光经过摄像机内部的分光装置,可见光用来捕捉色彩;同时红外光用来感受纹理和亮度,将获取的画面进行像素级逐帧融合,整体色彩还原性高、无偏色,图像整体亮度质量高。
在夜间,该产品可通过红外补光把光污染降到最低,获得和白光爆闪相同的全彩效果,既可检测抓拍违法车辆,也不会对驾驶员造成影响。
对于违停现象,天地伟业的超星光违停球可在布置场域内形成360度巡视,形成全方位、全时段覆盖,并且通过语音警戒来驱离违停车辆。
天地伟业品牌总监张征表示,该违停球可适用于复杂场景,检测违停车辆的成功率在95%以上。
苏州科达在交通方面推出了「超微光电警」、电子卡口、违停球等产品,布置在张家口市区的诸多路段、路口。
其中,共有近400套AI超微光电警落地主干道,无需补光灯,就可在夜间抓拍清晰准确的违章图片,减少光污染的同时,为解决违停、违章等提供视觉支撑。
在整个交通运行状态中,科达依托高点监控搭载了AR实景指挥系统。
传统的交通指挥系统需要多个摄像机提供实时数据,但存在画面独立、不连贯的问题,割裂的画面很难反映整体的交通区域状况,指挥中心也无法兼顾全局。
科达的AR实景指挥系统依托3D定位、AI等技术,可通过AR高点全景摄像机获取监控点全景视频,进而与区域内低点摄像机形成视频联动,兼顾整体与局部。
同时,该系统支持视频调阅、数据展示、信息标注等功能,给指挥中心提供立体化、可视化的交通信息,从多个角度助力冬奥会的交通运行。
“智能化、人性化”是冬奥会的科技底色,各种闻所未闻、见所未见的技术,在提升竞技效果、改变观赛方式的同时,为世界呈现出了全新的「中国名片」。
为那些默默在背后提供技术支撑的企业点赞、致敬!雷峰网雷峰网(公众号:雷峰网)