“聚力攻坚基础软件,加速分布式数据库/混合事务分析处理数据库等产品研发推广。”“十四五”规划明确,“强化基础组件供给,大力发展云计算/大数据/人工智能/区块链等平台软件开发框架”。
核心技术是国之重器,加速推进核心领域关键技术突破,完成核心网络中的软硬件国产替代是国家的一项长期战略。
5月26日,“向星力·未来数据技术峰会(FDTC)”在上海成功举办。为了实现数量处理的智能化、多模态、平民化,星环科技推出众多创新产品,星环大数据基础平台TDH+星环数据云平台TDC、星环分布式交易型数据库KunDB、分析型数据库ArgoDB、分布式图数据库StellarDB、搜索引擎 Scope、时序数据库TimeLyre、数据科学平台Sophon Base等完全满足信创要求,不但可以替换国外的商业和开源大数据平台、数据库等基础软件产品,而且拥有大量成功的应用案例,为用户创造新的价值。
1.星环TDH+TDC协同替换CDP,大数据基础平台更上一层楼
星环科技自研的大数据基础平台TDH和星环数据云平台TDC联合,可以完美地替代CDH/HDP和CDP,提升功能、性能、稳定性、易用性、扩展性、可靠性、安全、国产生态支持等能力,提供多种模型支持能力,性能提升可以达到5到100倍,原厂专业服务能力更强。
新发布的星环THD 9.3和TDC 3.2以新一代湖仓集存储、多模型统一架构、综合性能提升、基于容器的资源管理技术、多租户等技术引领发展。
星环大数据基础平台TDH 9.3推出新一代湖仓集存储格式 Holodesk,一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求,告别数据冗余。新一代湖仓集统一存储 Holodesk在数集方面,支持基于Holodesk存储格式的集市分析,存储&计算双升级,分析性能大幅提升;在数仓方面,支持完整四种事务隔离级别,支持复杂批处理加工、数仓模型拉链表等,无需手工计算分桶数,自适应数据分布自动合并小文件;在数据湖方面,离线导入/实时写入,生态对接Spark/Flink/Sqoop,时间旅行。
TDH 9.3多模型统一架构迭代升级,全新发布向量模型存储,支持关系表、文本、时空地理、图数据、文档、时序、向量等在内的11种数据模型数据统一存储管理,支持统一查询处理语言,完成跨模型数据流转与关联分析,业务开发更便捷。
雷峰网(公众号:雷峰网)了解到,在性能上,星环科技基础软件产品自研高性能分布式计算和存储引擎,整体性能是CDP 5~25倍。整体性价比是DB2 20倍,是TD 100倍。
在安全上,星环科技基础软件产品提供的容器隔离、灾备、访问控制、联邦学习、隐私保护、可信计算等技术保障网络层、加固层、治理层、流通层全方位数据安全。
TDH 9.3支持星环TDH底座就地升级到星环TDC,利用云化统一管理资源池,实现大数据系统产品、计算、存储资源池化,提高调度资源的灵活性和利用率。其多租户隔离技术,实现各业务部门之间的数据独立,更稳定,更安全,保障数据安全与隔离活性;统一管理与精准运维,统一管理和资源虚拟化,按需提供资源,不仅释放运维人员的时间与精力,而且提升运维效率。
此外,星环科技积累了大量的迁移成功案例,经验丰富,可以保障整个迁移过程安全可靠。
此外,TDH由星环科技自主研发,通过工信部自主代码扫描测试,完全自主可控,并且与已完成与主流信创生态厂商的适配互认工作,满足信创验收要求,帮助各行业用户提升大数据系统的国产化水平。
2.星环KunDB替换Oracle与MySQL,支持关键业务平衡迁移
星环分布式交易型数据库KunDB可以在交易型OLTP的业务场景、高并发在线数据服务场景等,替代Oracle/DB2/MySQL,并且提升存储计算能力、高可用能力、跨分区事务能力。
目前,企业IT架构转型面临系统可用性、迁移风险、扩展能力、运维风险等的挑战。新KunDB 3.2版本融入星环科技多年的数据库研发经验,以满足金融业务极致稳定的要求为核心,在高可用、Oracle兼容、一体化、智能运维、多场景应用支持等方面能力进行了大幅提升,可支撑各类OLTP应用需求,同时兼顾OLAP数据处理要求,可用于各行业国产化替代升级和分布式架构转型,帮助企业筑牢数字化发展根基。
KunDB 3.2分布式与集中式一体化,这样集中式可直接扩容为分布式模式,一套代码同时支持集中式模式和分布式模式;同样集中式部署模式可以扩容,直接演进为分布式模式,增加节点的线性扩展比90%。集中式分布式一体化保障“应用”不重写,“扩展”不困扰,“功能”不妥协。
为了更好的服务客户的数据库国产化替代,KunDB 3.2提供了高度的Oracle兼容能力,包括完备的PL/SQL支持、SQL方言支持、应用框架支持、驱动支持等。同时,为了解决客户迁移过程中的痛点,KunDB在3.2版本还提供了便捷易用的图形化迁移校验工具,并提供了类Oracle AAS的DBA运维平台,以及更细粒度的安全管控体系,最终使得客户的应用和数据能够平滑迁移至国产数据库。
在应用上,某金融机构利用星环KunDB替代原有自建的一主多从MySQL集群,性能有显著提升,部分查询通过KunDB副本读,缓解了TP业务竞争压力。业务中台与风控平台使用分布式库,满足未来3年业务增长,可随时扩容。多副本容灾和自动HA提升容灾水平,实现故障时RPO=0。
3.星环ArgoDB替换Oracle/DB2/Teradata,实现湖仓集一体
星环分布式分析型数据库ArgoDB可以在批处理和OLAP、Ad hoc分析等场景,替代Oracle/DB2/TD/SAP HANA等国外产品,提供海量数据分析能力,提升混合负载、实时数据分析等能力,软硬件综合性价比得到10到100倍的提升。
新发布的ArgoDB 6.0拥有强化实时分析能力,构建安全高效的国产化多模引擎、湖仓集一体、SQL兼容等优势。
ArgoDB 6.0改写Linac计算引擎,进行执行优化,引入向量化算子,全面提升实时处理能力,既要保证数据准确性、数据延迟小、数据稳定性,同时也有要解决数据量大、数据链路复杂、实时离线一体化等难题。
在多模能力方面,ArgoDB 6.0统一SQL接口、统一计算引擎架构、统一存储管理,采用容器化底座,实现了多租户隔离。
星环科技基于多模数据库ArgoDB打造的湖仓集一体架构,将原始的、加工清洗的、模型化的数据,共同存储于一体化的“湖仓集”中,既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务,又能承载分析报表、批处理、数据挖掘等分析型数据集市业务,真正意义上为用户提供湖仓集一体的场景解决方案。
ArgoDB 6.0的时间回溯功能可以应用与数据追回、准确预测、精准分析、数据漂移等场景,突破关键技术创新,严守数据隐私,捍卫安全红线。另外,ArgoDB统一的SQL引擎、完备的SQL支持、Oracle、TD等方言支持,保障了国产化替代的落地。
某农商行采用星环科技分布式分析型数据库ArgoDB建设了新一代湖仓一体平台,平滑替代了原Teradata一体机,实现了多数据平台合一,降低了原有同质化的数据系统运维开发成本和数据冗余,综合成效比达到Teradata的14倍。
4.星环分布式搜索引擎Scope替换Elasticsearch,助力企业打造自主可控搜索平台
随着数字化转型的持续推进以及国产化进程的不断加速,数据库的重要性不断提升,而国产搜索引擎数据库也随着半结构化数据的膨胀以及检索需求的旺盛变成了其中重要一环。
星环自研发的搜索引擎Scope可以在全文检索、日志分析等多个场景替代ElasticSearch,提升稳定性、性能、集群扩展性等能力。
Transwarp Scope 2.5提供了更友好的兼容度支持。在满足高性能多样化检索的同时,在集群拓展性、安全管控能力、运维管控、数据一致性等方面进一步加强,充分覆盖顾客在搜索引擎类产品的国产化替换痛点并提供平滑迁移的解决方案,助力企业构建稳定可靠、安全易用的日志分析、海量数据检索等检索业务场景。
在性能上,星环Scope 2.5依靠多进程架构,充分利用集群资源,支持与实时流引擎Slipstream无缝衔接,支持flink/kafka to Scope,全文检索毫秒级响应、
在可展性上,星环Scope 2.5支持在线水平扩展,支持百节点+大规模集群的部署,利用容器技术实现资源调度和资源隔离,支持弹性扩缩容。
星环Scope 2.5基于Raft一致性协议的存储引擎,具备自动故障迁移、自动数据修复的能力。同时提供用户认证、传输加密等功能,保障集群数据安全。
星环Scope 2.5满足各类软硬件环境需求以及信创需求,支持单集群混合架构部署,最大化利用硬件资源,实现了多类操作系统适配,支持多种架构的CPU,实现灵活部署。
某金融客户构建两地三中心运维中台,满足跨集群作业的同时支持传统海量日志分析。在该项目中,利用星环Scope接对齐客户ES使用方式,仅在表设计做少量改动离线入库,业务迁移量和数据迁移工作量大幅下降。同时读写性能优化,降低了读写混合场景下带来的性能毛刺现象。
5.星环图数据库StellarDB替换Neo4j,为国产化图数据应用提供高水平方案
星环分布式图数据库StellarDB可以在图查询、图分析等场景替代开源图数据库Neo4j。而新发布StellarDB 5.0产品在延续企业级海量存储、高性能数据查询分析计算、丰富的可视化交互、安全运维一体化等优异产品技术能力的同时,进一步带来了覆盖数据存储、查询计算、可视化交互、深度图学习、多模型数据库等产品多方位的能力升级,以高水平的产品能力和图智能持续赋能业务生产以及应用创新,为国产化图数据应用提供高水平产品解决方案。
StellarDB 5.0对计算模型进行优化,全新设计Cypher语言执行器Thunder、BSP查询优化模型,大幅提升短查询执行效率,提高查询并发;实现算法优化,优化星环Eagle图算法模型,大幅优化内置图算法运执行效率;实现编译优化,引入Cypher语言预编译技术,减少语句编译优化开销,提升语句执行效率。
StellarDB 5.0对接星环科技自研深度图框架ZenGraph结合,基于图数据库的查询计算能力,提供快速、准实时,甚至实时的特征查询和计算;基于图数据库内置算法,提供多元的图特征计算能力;基于图数据库存储能力,提供高速数据写会能力;针对不同业务场景支持多种深度图嵌入算法模型,相比于传统图算法,能够从图中挖掘学习更多的特征知识,预测更精准。
StellarDB 5.0带来全面升级的数据可视化分析引擎KG Explorer 1.3,一款人人易用、面向业务、数据分析的可视化工具。
星环科技是国内同时具备图数据库、知识图谱平台、图挖掘应用开发能力的企业,其全栈能力,可以助力用户快速构建知识图谱应用。
在应用上,借助星环分布式图数据库StellarDB +知识图谱平台SophonKG,某证券公司打造了全新的一站式国产化企业图谱,满足了企业级的系统建设需要,支撑集团客户画像、风险事件报告、科创板关联发现以及联机分析等创新应用场景,实现了分布式集群管理、统一的资源隔离与权限管理、计算性能的优化提升,以及丰富的可视化效果等。
6.TimeLyre替换InfluxDB,实现时序数据库库的国产化替代
时间+数据构成的时序数据,成为今天重点关注的对象。星环科技自研的高性能时序数据库TimeLyre可以替代开源时序数据库InfluxDB,解决开源时序数据库不支持复杂分析,只能做简单点查或者指定设备分析,大规模设备情况下,不指定设备查询时,需要使用大量内存载入全量设备数据,并进行归并排序操作,服务极其不稳定,以及缺乏安全可控性等问题。
星环科技推出了解决时序数据存储和分析计算的可靠高性能数据库TimeLyre 9.1存储压缩比高,在常见的时序数据上可达5~20倍压缩率以上,远优于传统数据库,单节点磁盘可用容量高,可大大节约成本。
同时,TimeLyre 9.1统一标准SQL,支持完整的标准SQL查询语言,支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性,保证数据的准确性。支持复杂分析能力,支持关联、聚合、嵌套查询等复杂SQL分析模型。
TimeLyre 9.1多模分析能力支持多模平台,打破数据孤岛,支持对不同存储模型数据表进行跨模分析,支持国产化软硬件平台,支持异构集群部署。
在应用上,星环科技携手某头部券商,利用星环时序数据库TimeLyre打造量化投研一体化平台,提升投研效率。TimeLyre API提供类pandas DataFrame 的API接口,便于业务迁移;
基于分布式时序数据库大大提升运算能力,提供亿级数据量下的高速运算支持。相同场景下达到pandas单机性能60倍。
7.Sophon Base替换SAS,让数据分析如虎添
星环科技的智能分析工具Sophon Base可以在可视化建模分析等场景替代SAS/SPSS,提升功能和性能,降低成本。
大数据分析工具可以帮助用户更灵活、更高效地进行数据分析,挖掘数据价值。随着数据量的剧增,以及深度学习算法的不断迭代以及创新,如何满足企业用户更快速、更高效、更灵活以及更低成本的需求,成为分析工具面临的最大挑战。
星环科技Sophon Base是具备统计、机器学习、深度学习等完备算法和丰富算子的企业级分布式机器学习平台,支持从数据接入、数据处理,到模型训练、服务部署、线上监控的一站式可视化流程,拥有更多分布式ML算法和模型、建模流程化MLOps、边缘计算、隐私计算AI能力扩展、更开放的生态等优势。
为了快速赋能企业、政府、机构,帮助他们基于自身数据,构建贴合自身业务的新一代AI应用,星环科技在Sophon智能分析全流程平台产品中践行落地“新一代”AI平民化思想,从样本易管理、场景易开发、模型易获得、模型易管理、效果易迭代、系统易运维的“六易”,到样本仓库、模型仓库、场景仓库的“三仓”,以及以样本为中心和以模型为中心的两中心思想,构建从样本到模型开发管理运营全链路工具+平台,来破局当前AI在各行业快速应用落地并产生实际业务价值过程中的难点问题。
其中,星环科技Sophon 提出“三仓一平台” 的建设思路,围绕着模型开发全流程包括模型的训练、部署推理和应用反馈三个阶段,以数据流视角分别建设“样本仓、模型仓、场景仓”,实现全流程、多模态数据的统一纳管。其中,样本仓库,管理和产出高质量数据;模型仓库,模型评估产出高质量模型;场景仓库,场景模板规模化部署,数据反馈支撑高效迭代。
围绕着智能分析的全流程的数据建设,星环科技可以做到多模数据可统管、多模态模型可组合、业务数据可迭代、模型质量可评价以及全流程数据资产可积累,最大化释放数据价值。
目前,基础软件的国产化替代将不断加速,国产化替代的范围不断扩大,国产化替代的成效日益显著。而星环科技必将成为基础软件国产化替代的一面“标杆”和“旗帜”。