雷锋网消息, 近日开源软件 Apache Hadoop 的发行商 Cloudera 与英特尔在京举办媒体沟通会, Cloudera 与英特尔的战略专家、架构师、开发人员和分析师参与了会议,就英特尔与 Cloudera 的合作经历与英特尔在开源社区里的合作和雷锋网在内的媒体进行了沟通。
雷锋网了解到, Cloudera 的主要业务是出售大数据处理开源软件 Apache Hadoop 的发行版,为企业客户部署基于 Hadoop 的大数据基础架构。2014年,英特尔斥资7.42亿美元入股 Cloudera ,当时 Cloudera 的估值一度达到41亿美元,是美国估值第二高的大数据公司。此后英特尔继续追加投资,到今年1月底,英特尔对 Cloudera 的投资额累计达到7.665亿美元,占股22%,是后者最大的机构股东。
媒体交流会上, Cloudera 联合创始人兼首席技术官 Amr Awadallah 针对人工智能和机器学习发表了演讲,他认为人类的进程就是一个自动化的过程,现在人类处于决策自动化的阶段,这是我们的终极目标,机器学习的范畴则远远大于深度学习。
而英特尔公司软件与服务事业部副总裁兼系统技术和优化部门大数据技术总监马子雅则分享了英特尔在开源方面做的努力,以及与开源社区间的合作。
马子雅回忆到,作为 AI 民主化战略的重要实践之一,除了和 Cloudera 合作,为企业用户部署 Hadoop 的大数据基础架构之外。2016年12月30日,英特尔开源了基于 Apache Spark 的分布式深度学习框架 BigDL 。
BigDL 0.1 版本主要专注在怎样提高深度学习在数据科学家中的易用性,比如对组件的支持、对 Notebook 可视化的编程的环境支持和谷歌 Tensorboard 可视化的支持,以及更多的 RNN 功能的支持。做到更加健壮、容易扩展以及对大规模、分布式训练的支持,是 BigDL 0.1 版本的主要功能体现。
正因为 BigDL 是跑在 Spark 上的深度学习的框架,和大数据的架构和云的架构高度契合,所以它在包括AWS、微软Azure、阿里云、Cloudera的 Data Science workbench、DataBricks 以及 Lightbend 等在内的重要公有云平台、大数据分析平台上都得到了非常好的支持。这些网站也提供了各种教程,帮助用户在自己的大数据平台或云服务上来使用 BigDL 。
英特尔首席架构师戴金权也曾在近日透露,BigDL 0.2版本即将发布。BigDL 0.2提供了更加丰富、更加易用的分布式深度学习的支持,包括对功能性的 API 的支持。新版本还支持对 TensorFlow 的模型的导入以及 TensorFlow 模型定义。
同时,雷锋网了解到,英特尔已成为 Linux、Tizen、Yocto 最大贡献者之一,同时与 Google 在 Android 开发领域已有很多合作, Linux 内核 3.4 版本中,英特尔成为第一贡献者。此外,英特尔也是 Hadoop 社区的重要贡献者之一,在 Open Stack 云平台管理项目中,英特尔作为提供底层硬件平台和软件优化的合作伙伴也参与其中。
就与 Cloudera的合作而言,目前双方推出的数据分析解决方案已经在金融、电信、交通等不同行业进行应用。马子雅表示:“未来与 Cloudera 等生态合作伙伴建立更深入的合作关系,共同推动多元应用的开发,从而帮助企业实现业务上的变革和创新,驱动未来数据分析与人工智能的进一步发展。”