该以怎样的数据观看待当下的数据爆发时代?云计算、大数据、人工智能等新技术纷至沓来,与其说技术突破瓶颈,不如说是时代选择新技术,在数据驱动型经济的大背景下,不同行业不同组织都在抢夺新的“石油”——数据。
IDC 预测,全球数据圈将从 2018 年的 33ZB 增至 2025 年的 175ZB,新的数据将带来独特的用户体验和全新的商业机会。175ZB是什么概念——即便以目前容量最高的希捷银河Exos X16系列16TB企业级氦气硬盘来储存,也需要超过十亿块硬盘存储。
数据争夺战已经打响,所有的数据都离不开存储,云计算时代存储厂商如何变演进,雷锋网就此话题采访了希捷中国区云及新兴产业总监农天使。2019财年希捷专门成立了成立云/IT 4.0部门,由农天使负责,这也是继2013年希捷在中国区硬盘供应商梯队中率先成立云计算团队后的又一大变化。
希捷认为,存储行业已经进入IT4.0时代,突出的两个变化就是数据从被动变为主动,以及云边端协同的数据存储模式。
数据从被动变为主动,意味着数据以前是被动地被存储,现在数据更多地参与到决策的过程中。农天使表示,不同于以往,数据很多时候是作为备份、归档封存,如今大家意识到过去的历史数据有可能是能帮到未来业务决策或者商业决策的,就愿意把数据在线,经常做数据的分析,更好的辅助之后业务的决策。
以NBA视频为例,如果要回顾一个球队的数据对比,在过去要额外花时间做分析再输出,现在则是存储的数据已经被标记,在用户观看时就能把以前的数据或者视频、报道结合,给用户一个更丰富的、更直观的体验。
在数据从被动便主动的过程中,不仅是软件层面的变化,硬盘本身也需要匹配新需求。“与IT3.0(移动云时代)相比,除了硬盘储存容量不断变大,还要更快、更有效的去响应业务上对于数据分析、数据处理的诉求。”
数据要更快、更高效的被应用端处理,就涉及磁盘是否能够更快的将数据调用、读写,比如在数据中心做离线数据分析,磁盘的IO/TB可能是一个瓶颈,吞吐量也可能有限。“现在吞吐量基本上增长还是符合这类应用的需求,但是IO/TB就会有一定的瓶颈”,农天使表示。
解决之道并不复杂,改用大量SSD即可以解决,但是成本就会很高。希捷创新之处在于双磁臂技术,将来可能还有多磁臂。双磁臂技术能够把数据的读写性能翻倍,同时希捷也努力在同一个槽位提供更大的存储容量,比如希捷最新的16TB硬盘,磁密度上升,读写时磁臂划过相同面积扇区,所读取的数据就越多,吞吐量随之提高。
在SSD领域,希捷同样有优化方式。希捷SSD使用DuraWrite技术,压缩芯片实现数据压缩,既能更快的处理数据,同时可以减少SSD的写放大,延长使用寿命。另外,雷锋网了解到,希捷还收购了两家硬盘系统公司,Xyratex和Dot Hill,针对物理设备的部件层,无论是机械硬盘还是SSD,经过自测后实现最大性能在交付给客户。
所谓的云与端,云就是数据中心,端就是各种各样的终端设备,云+端在很长一段时间内构成了数据存储的两极,移动端数据是轻数据,通过网络传输传输到云端,云端数据量越来越大,当需要传输的数据量变大,网络延迟不能满足传输即时性要求,边端兴起。
为了解决从端到云的拥塞、延迟,以及出于节省成本的考量,在边缘布节点成为顺理成章的做法。CDN其实在某种程度上就是云边端的架构,在一个大的逻辑拓扑里面分布一个大的边缘,未来边缘需求将会越来越多。
如车联网,车路协同是车联网必须要解决的课题,假设车辆数据要与数据中心交互再实施决策,延迟是4G网络解决不了的。5G在很大程度上能够降低延迟并且拓宽连接数量,每个路口、每个交通灯都可能成为边缘节点,实现车路协同。
IDC报告显示,2018 年,中国数据圈占全球数据圈的 23.4%,即 7.6ZB。预计到 2025 年将增至 48.6ZB,占全球数据圈的 27.8%,中国将成为全球最大的数据圈。与全球动态相似,越来越多的物联网设备在数据的创建位置处理并分析原始数据,以及建筑、桥梁、智慧城市等智能基础设施利用边缘设施和计算来赋能实时世界,在中国数据圈,边缘创建和复制的数据所占比例几乎翻了一番——占比将从数据总量的 13%增加到 23%。
不管在国内还是国外,云计算都是由企业自身具备云化能力之后的对外输出,国内BAT等互联网厂商也是首批云计算厂商。在很多互联网厂商分开做存储和计算配置时,BAT已经开始做资源池化,把存储做成一个资源池,计算做成一个资源池,或者通过混布的方式。
比如百度高密度天蝎整机柜,高密存储节点1U空间放18块硬盘,而传统的互联网厂商还是2U放12块3.5寸硬盘,百度的存储密度就是传统方式的3倍,存储密度上升的同时成本降低。
在原来的模式里希捷先和OEM客户沟通,然后OEM厂商根据其节奏和产品目标决定何时推向云厂商,这种模式明显的缺点是,云计算发展速度超过预期。因此,云厂商在较为早期就主动与部件厂商做探讨和实践。纵向来看,包括国内的OEM,像浪潮、华为、曙光、H3C很大程度上就是在此层面有优势,另外从战略层面支持新兴产业、互联网厂商。
“希捷通过与百度做业务负载的分析,以及对于性能参数的要求和功耗的要求等等,最早和百度一起推出来云盘来满足需求,这是我们希捷最早做的事情”,农天使表示。当互联网厂商开始对外提供公有云服务,对成本和性能要求更为敏感,每TB成本、每个TB的IO都要数着来算。
希捷的HAMR技术能在纳秒级时间让磁头温度加热,完成数据的写入,“1”和“0”就如此写入到介质中,同时又在微秒的级别让磁头迅速冷却,完成数据的保存,瞬间能量密度比太阳能量密度还要大。
农天使介绍,“其实我们做这个行业,说起来好像挺简单,但是做起来门槛很高,难点在于底层的物理学和材料学,等等。比如说像HAMR技术,要持续提高磁密度,保证未来磁密度的年复合增长率在30%,学校里可能是发一个文章,能发一个Nature或者发一个Science的论文,但是要做成非常可靠的能够量产的产品,还要经过持续的创新驱动和很多工程师与科学家的努力。”雷锋网雷锋网
相关文章: