解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准

摘要:OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

10月14日,阿里巴巴2017杭州·云栖大会,Linux 基金会Leadship团队 CNCF 执行总裁 Dan Kohn和阿里巴巴集团研究员蒋江伟共同宣布了分布式消息领域的国际标准OpenMessaging开源项目正式入驻Linux基金会,这也是国内首个在全球范围发起的分布式计算领域的国际标准。

据悉,OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

OpenMessaging的价值

在云计算时代,消息通讯已经成为现代数据驱动架构的关键环节,消息中间件可以连接数据源、数据处理引擎和应用程序。然而,全球范围内,消息领域仍然存在两大问题:一是缺乏供应商中立的行业标准,导致各种消息中间件的高复杂性和不兼容性,相应地造成了公司的产品低效、混乱和供应商锁定等问题。二是目前已有的方案框架并不能很好地适配云架构,即非云原生架构,因此无法有效地对大数据、流计算和物联网等新兴业务需求提供技术支持。

OpenMessaging抛弃历史包袱,轻装上阵,期望能解决这些弊端。除了做到可以链接跨平台、跨语言、跨产品和跨云的标准之外,OpenMessaging将提供Cloud Native的能力,面向云计算、混合云架构,实现多云平台无缝迁移,致力于提供金融、电子商务、IoT及大数据等领域的一站式解决方案。

详解OpenMessaging及其未来计划

OpenMessaging项目发起者阿里巴巴在分布式消息领域已深耕近十年。阿里巴巴自研消息中间件RocketMQ以万亿级的容量支撑阿里内部3000+应用,双十一当天承载上万亿消息流转;同时在阿里云上为数万个付费用户提供消息服务。RocketMQ的开源社区版本现已成为Apache基金会顶级项目,和Hadoop、Spark等大数据生态体系逐渐形成合力,被国内外互联网、金融,大数据等领域的企业广泛使用。

得益于阿里巴巴在消息领域沉淀的丰富经验,OpenMessaging项目是将互联网业务对消息的需求进行抽象,形成了一套能满足大多数业务场景的标准模型,并提供连接大数据和流计算平台的能力,逐步发展一个厂商无关的消息规范。具体而言,项目将首先推进开源消息解决方案的标准化接入,然后覆盖主流云平台,最后将生态外延,连接一切。

现如今,OpenMessaging项目已经开始在Apache RocketMQ中率先落地,并推广至整个阿里云平台,阿里云用户能最先通过OpenMessaging接入阿里云的消息生态。同时Apache RocketMQ的4.1.0版本实现了OpenMessaging的0.1.0-alpha版本,使用开源RocketMQ的用户可以率先使用OpenMessaging,RocketMQ官网提供了接入文档。

未来一年,OpenMessaging项目将会从开源社区、云平台和生态系统三个维度展开工作。

  • 开源社区:推出OpenMessaging的1.0版本,Apache RocketMQ和Apache Pulsar等开源产品会相继实现该标准,同时会尝试推进Spring Cloud,ActiveMQ、RabbitMQ、Kafka等主流平台接入。
  • 云平台:RocketMQ的实现会在阿里云的商业消息产品Aliware MQ中落地,成为阿里云平台的上默认消息接入规范,同时也会尝试了解其它云平台的接入意愿。
  • 生态系统:OpenMessaging主要会先从三个方面进行生态的延伸和发展。
  1. Connector,使OpenMessaging能覆盖主流的大数据和流计算平台。
  2. Replicator,提供连接主流数据库的能力,比如Mysql,Redis,HBase等。
  3. Appender,覆盖日志和Metrics领域。

目前,项目组建了一个较小的OpenMessaging Technical Steering Committee(OMTSC)和OpenMessaging Industrial Advisory Board (OMIAB),TSC成员会把控整个项目的方向和推动项目发展,IAB顾问组成员会为项目提供丰富的指导性建议,同时也有义务将项目在其所在组织进行推广和实现。其中,TSC的初始成员主要来自阿里、滴滴、雅虎和Streamlio等公司,TSC会带着这些公司的沉淀,在充分讨论的基础上,制定规范版本,同时提供多语言API和解决方案。而IAB成员则由业内相关领域的专家组成。

随着项目的推进,当主流开源项目和云提供商能支持OpenMessaging的实现时,用户可以低成本甚至无成本的在不同的产品和不同的云平台之间进行迁移,没有技术选项和多语言的困扰。这也是OpenMessaging项目的初衷。

阿里巴巴中间件技术部研究员蒋江伟表示,作为分布式系统消息服务规范标准,OpenMessaging的愿景是成为全球化、无国界、无公司边界,面向云和大数据,多行业领域的一站式方案标准。

写在后面

对于致力与成为全球化消息领域标准的OpenMessaging最大的挑战是如何做到厂商无关化,而得到众多厂商的支持和接入并非一蹴而就。OpenMessaging绝对不是封闭的技术圈,而是需要开放才能得到社区的认可和厂商的接入,要做到这一点,与更多技术流派的项目开发者、厂商的充分沟通是必不可少,希望更多的有志之士能加入OpenMessaging社区生态,促进其健康发展,共同为打造顶级消息行业开放规范标准而努力。

企业级互联网架构Aliware,让您的业务能力云化:https://www.aliyun.com/aliware