雷锋网消息,据外媒报道,1月7日,阿里巴巴以9000万欧元收购了总部位于德国柏林的创业公司 Data Artisans。
据了解,Data Artisans 成立于2014年, 公司联合创始人兼 CEO Kostas Tzoumas 为开源流处理框架 Apache Flink 的创建者;公司 CTO Stephan Ewen 为 Apache Flink PMC member。
Data Artisans 通过使用 Apache Flink 为企业部署大规模的数据处理解决方案,使企业能够管理和部署实时数据应用程序,对数据做出即时反应,做出更好更快的业务决策。据官网介绍,它的dA平台由 Apache Flink 和 dA 应用程序管理器组成,包括与容器编制、CI/CD、日志、指标和状态存储的即时集成,并为公司提供所有流处理应用程序的单一视图。
包括荷兰国际集团(ING)、Netflix 和 Uber 在内的全球公司使用 data Artisans 的平台 Apache Flink 为大型应用提供实时分析、机器学习、搜索和内容排名以及欺诈检测服务。
该公司此前曾获得 Btov、Tengelmann Ventures 和英特尔公司等投资的两轮650万欧元融资。
据了解,Flink 早期起源于德国柏林工业大学的一个研究项目 Stratosphere,并于2014年4月捐献给 Apache 软件基金会,同时重新定位品牌为 Flink,经过8个月孵化期,在2014年12月成功从 Apache 软件基金会毕业,成为 Apache 顶级项目,从此开始在大数据领域航行。经过最近4年的持续快速发展,Apache Flink 社区已经培养出了42名 Committer 和19名 PMC Member。
据阿里技术官方公众号介绍,阿里巴巴从2015年开始调研 Flink,并于2016年第一次在搜索场景中上线Flink,在经过搜索大数据场景的检验后,2017年Flink开始在阿里巴巴集团范围内支持各项实时计算业务。
到目前为止阿里巴巴基于 Flink 打造的实时计算平台,已经支持了包括淘宝、天猫、支付宝、高德、飞猪、优酷、菜鸟、饿了么等所有阿里巴巴集团下的所有子公司的数据业务,并通过阿里云向中小企业提供一站式实时计算服务。
至于选择 Flink 的原因,阿里巴巴计算平台事业部资深技术专家莫问曾在2018云栖大会的演讲中表示:
随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处理之中往往是相同的。但是,用户用于批处理和流处理的两套计算引擎是不同的。
因此,用户通常需要写两套代码。毫无疑问,这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题。
所以阿里就在想,我们能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里选择Flink的背景和初衷。
为了思考下一代大数据引擎的方向以及未来趋势,我们做了很多新技术的调研。结合大量调研结果,我们最后得出的结论是:解决通用大数据计算需求,批流融合的计算引擎,才是大数据技术的发展方向,并且最终我们选择了Flink。
据阿里巴巴集团副总裁、搜索事业部与计算平台事业部负责人周靖人介绍,在大数据领域,阿里巴巴最近几年对 Apache Flink 社区进行了持续大力的投入:
贡献超过15w行代码;
主导建立了Flink China中文社区,加速Flink在国内的生态建设;
今年开始在北京、杭州、上海、深圳等地多次组织Flink Meetup。
并且,阿里巴巴内部 Flink 版本(Blink)将于2019年1月正式开源。
据雷锋网了解,2018年12月下旬,阿里巴巴集团主办的 Flink Forward China大会专门邀请了 Data Artisans 的 CTO Stephan Ewen 来到现场发表演讲,分享关于 Flink 发展趋势的看法。
此次阿里“豪掷”9000万欧元将 Flink 创始公司 Data Artisans 收入囊中,可以看出阿里在进一步巩固其大数据技术核心壁垒,完善 Flink 技术生态及应用场景,主导并引领以 Flink 为主流技术方向的实时计算平台建设。
关于此次收购的意图,雷锋网也第一时间向阿里计算平台事业部公关负责人求证,对方表示目前还不方便透露太多。
相关文章:
阿里巴巴开源深度学习框架 X-Deep Learning,引领高维稀疏数据场景的深度学习标准