华为云技术专家硬核分享,云原生中间件如何加速业务发展
本文分享自华为云社区《云原生中间件,构筑软件安全可信的连接桥梁》,作者: 华为云PaaS服务小智。
近日,在华为云开发者大会2024期间,来自华为云PaaS服务,中间件领域产品团队的资深专家、技术总监、高级产品经理等大咖们发表了以“云原生中间件,构筑软件安全可信的连接桥梁”为主题的专题演讲。
演讲伊始,华为云产品资深专家龙英首先就中间件在云计算发展中的趋势做了分析,他指出,从上个世纪末到本世纪初,软件行业的发展规模已经日益庞大,软件产业链也越来越精细,复杂程度丝毫不亚于传统制造业的供应链体系,并提到,一款软件产品可以非常快速上市,充分证明了产品链的优势,但也因为涉及到软件架构问题,如软件各层部件的选型不当,导致整个软件遇到非常大的挑战,需要通过重构等高代价的手段才能完成升级换代。
华为云产品资深专家 龙英
华为云中间件:提供技术领先、安全可信、形态丰富的中间件,助力客户构筑世界级软件
随着云计算的技术发展,云原生中间件作为云原生架构中的关键组件,在核心能力建设、业务连续性、生态丰富性等诸多方面也面临着一系列挑战。
建设进度不满足客户对云服务的能力诉求。一方面,人才与组织与业务发展不匹配,尤其是人才梯队建设需要花费很长的周期和成本,这对于一个大型企业来说可以逐步完善,但对小公司而言,实现起来非常困难;另一方面,安全和技术瓶颈带来的可靠性问题,也让企业的运营存在较大隐患。
使用开源中间件带来的业务连续性风险。据调研数据发现,95%以上的企业都在使用开源中间件产品,而开源中间件产品通常都会存在一些安全漏洞,这些漏洞可能被恶意利用,导致系统被攻击、数据泄漏等严重后果。相关报告,如Synopsys的《开源安全与风险分析报告》高达84%的代码库包含至少一个已知的安全漏洞,这些漏洞如果被攻击者利用,很可能对企业的业务连续性造成严重影响。
中间件形态多样,客户希望云厂商能面面俱到。中间件技术发展百花齐放,形态各异,市面上可用的开源加商业中间件产品可能有上千款,面对众多的中间件产品,客户都希望能够以最小的代价实现业务上云,并且连带着历史上的中间件选型不合理问题能在这个阶段一并解决。
为了应对上述挑战,华为云中间件分别做出了不同的对策予以有效解决客户业务问题。
首先,匹配客户上云阶段,分“三步走”,当前已进入到第二阶段
阶段一,重点是让上云的客户能对云上能力产生极佳的体验。目前华为云几乎所有服务的OpenAPI都在云上托管。比如,分布式缓存服务DCS通过自研技术可以把单分片的并发性能从十万提升到四五十万,并且时延抖动波形的稳定性提升10%。
阶段二,构筑大量能够让客户深度用云的能力,中间件产品在韧性和快恢复上投入了大量精力进行打磨。举例,像分布式消息服务DMS的智能诊断能力,可以一键诊断并给出最佳优化建议。混沌工程产品支持10大场景,100+故障模式的故障检测能力,帮助客户把使用云服务的隐患系数降到最低。
阶段三,构建跨云的能力,从存储层、数据层到中间件层构筑一整套的解决方案产品,通过可视化大屏进行多云多集群的统一管理,遇到故障跨云跨Region,实现自动迁移。
其次,华为云中间件通过华为管理体系反复捶打出过硬产品
通过持续不断的投入,建立了一整套非常完整的体系标准,并且已融入公司研发IPD和DSTE流程中,实现了从依赖个人、偶然性推出成功产品,到制度化、持续地推出高质量产品的转变。华为的产品和解决方案已经在170多个国家安全稳定运行,并因此积累和赢得了全球众多客户的信任。
再者,深耕行业,为场景找技术伙伴,建立利益共同体
为更好的满足客户需求,加速行业数字化转型,华为一方面面向煤矿、港口、公路、电力、金融等多个行业成立了军团组织,从行业的视角找匹配的技术。军团是专业化队伍,对内拉通端到端的资源,包括研发、销售、交付、服务等,以便深入理解行业的生产实践和行业知识,打造适配场景的产品和解决方案;对外联合更多的解决方案伙伴,把华为和伙伴的能力整合在一起,形成针对性的解决方案。另一方面,面向商业市场,产品销售、交付、维护等几乎都依赖众多的伙伴主导完成,华为将从“研发、营销、销售、供应、服务”端到端地进行适配,赋能伙伴,使能伙伴,让伙伴能够自主拓展、交付华为产品和方案。
通过上述解决思路,最终总结打造出了一套完整的中间件系列产品,并采取自研+开放的双轮战略,支撑华为云的中间件产品系列越做越大,越做越深。华为云中间件致力于提供技术领先、安全可信、形态丰富的中间件部件,帮助客户构筑世界级软件。目前已经在全球最火的新能源行业落地,沉淀了丰富的实践案例。
车联网行业创新提速之路,行稳致远
会上,华为云中间件技术总监明泽提到,随着汽车的日益普及及技术的不断发展,全球汽车行业“新四化”趋势越发明显。
华为云中间件技术总监 明泽
网联化是数字化和服务化的基础,在有了大量数据的基础上,出现各种智能化服务,尤其是自动驾驶,彻底奠定了智能化核心地位;出行服务让车辆共享化成为一种新的消费模式。此外,全球化也是一大趋势,车企在通过新能源赛道去拓展新的市场格局,这个过程的一个基本要求是满足所在国的业务安全合规。明泽表示,随着汽车行业迈入亿级车联接时代,云原生中间件成为支撑海量数据管理和软件快速迭代的关键技术,它不仅优化了智能驾驶服务,更是推动车企数字化转型的核心技术。
中间件在车联网智能化建设中分两种场景,其中车辆数据上报场景,包括车况(胎压、电量)、POI位置信息(轨迹、周边)、行车数据(速度、加速度、刹车、怠速等)、空调、座椅加热、娱乐数据等,需要能够支持千万级车机连接、千万级topic主题;支持强大的规则引擎数据集成和规则的灵活下发、快速采集以及百万级的消息吞吐,实时告警事件驱动。另外一种场景,即通过手机App远程控车,像远程启动、开空调、开后备箱、升降窗户、开灯、开车门、远程诊断等,都需要支持设备解耦,降低APP和TSP的开发难度以及离线消息的支持。
这些复杂场景,通过中间件的分布式缓存服务DCS、分布式消息服务DMS、事件网格EG以及函数工作流FG等不同的中间件产品组合的关键能力可以有效解决,且已经在多家车企业务中得到了成熟的应用。
缓存全新发布:破除边界,缓存产品形态跟随业务的持续转型
中间件是分布式系统不可或缺的基础部件,数据缓存访问加速服务,是中间件的重要组成部分,缓存服务可以支撑系统千万级并发任务时毫秒级的任务时延,提升系统稳定可用性。
华为云中间件高级产品经理 流星
华为云中间件高级产品经理流星在演讲中提到,对比开源Redis自建,DCS基础型性能明显优于开源Redis,同时也提供很多价值特性,如规格在线一键变更、30+的监控项等。企业版提供容量型产品,可通过SSD替换内存获取较大的成本优势。
在扩容方面,传统的扩容方式为倍增扩容,比如3节点32GB的配置,扩容只能做到节点数或者容量倍增,步长较大,利用效率不足。针对该类问题,流星表示,DCS提供细粒度弹性扩容,在节点数线性增长的同时,性能也随之线性增长,而且,通过分片扩容也可快速降低热key的集中度。
除此之外,DCS还提供独立的扩容项-带宽,在热key并发访问场景中,集中在单分片的热key的流量超过单分片带宽或是整实例带宽时,可通过扩容分片带宽,提升分片的带宽上限,确保性能稳定可靠。
流星在演讲最后还提到,DCS在多年的业务实践过程中,已经积累且总结了丰富的高可用容灾方案场景,如可用区内主备副本,单Region跨可用区,多Region多可用区等。
分布式消息服务DMS产品全新发布:架构全面提升,企业级消息中间件的新选项
分布式消息服务DMS目前的定位是,现代化流式架构核心关键组件,提供兼容Kafka、RocketMQ、RabbitMQ的云服务能力,在微服务、云原生、大数据、金融等场景上被广泛应用,并且在车联网、用户行为分析、Feed流推荐、电商等业务系统中获得用户的青睐。
华为云中间件高级产品经理 大鹏
本次演讲会上,华为云中间件高级产品经理大鹏首先阐述了DMS的几大优势:
- 稳定可靠,提供95%的可用性,解决开源可用性问题,保障客户业务稳定运行。
- 极致性能和弹性,最大支持千万级并发和万亿级消息堆积,拥有更强的事务处理和定时消息能力。
- 安全方面,从数据传输、存储安全、敏感操作等方面提供了全方位的安全防护。
在演讲中,大鹏还给大家带来了即将全新上市的产品系列:Kafka全新版本、RocketMQ全新版本、RabbitMQ全新版本分享。
- Kafka全新的版本
将提供全新的Serverless规格,同时会具备基础带宽 + 弹性带宽的组合能力,最大支持1GB的弹性带宽,给客户带来全新的Kafka体验和更好的业务适配度。
- RocketMQ全新版本
将提供全新的基础版和专业版产品系列,在大幅降低起步规格的同时,也对存储软件和硬件架构进行优化,综合存储成本降低30%以上。此外,全新的专业版实例还将支持最大5万的弹性TPS能力,更好的适配不同场景下客户的业务波动。
- RabbitMQ全新版本
本次发布的专业版实例,在兼容开源AMQP协议的同时,也解决了开源内核的稳定性和可靠性问题,包括开源版本面临的高水位和停止响应问题,为客户的业务提供更好的产品选择。
新一代事件中心EventGrid:打通事件孤岛,用事件流实现数据路由的最佳实践
EventGrid的产品定位,它是华为云提供的一款Serverless事件总线服务,能够以标准化的CloudEvents协议在应用之间灵活路由事件,帮助用户轻松构建松耦合、分布式、事件驱动的Serverless微服务应用。
会上,华为云中间件高级产品经理康康针对该服务三大优势能力做了详细介绍:
华为云中间件高级产品经理 康康
- 统一事件中心内置100+华为云事件源,支持自定义和伙伴事件扩展
海量官方数据源支持,覆盖数据库、消息、函数计算、大数据类、DevOps平台、IOT等,支持自定义事件集成。
- 界面化轻松集成和在线处理事件
界面化轻松集成和在线处理事件极简事件集成,点选配置事件源和目标;支持在线实时变更事件过滤、转换等处理逻辑以及自定义复杂格式转换。
- 事件可运维和可观测能力
可运维能力表现为事件查询和事件轨迹以及事件调试三方面;可观测能力主要是指在运行、成功、失败次数、耗时监控的15+监控指标,并且支持监控大屏,便于观测系统和运行日志逐次展示,用户可快速定位问题。
此外,关于EventGrid四大典型场景,康康还谈到,在车联网解决方案中,EventGrid起到了作为事件中心、事件驱动和流式ETL数据清洗的作用。数据路由同步场景,作为数据同步管道,连接不同的系统与服务,支持全球事件任意互通且云上消息、缓存路由、同步、备份和跨地域异地多活,帮助客户轻松实现搬迁上云数据同步、跨地域备份容灾、账号数据同步以及跨IDC混合部署数据同步,打造消息一体化解决方案,最后分别列举了某新能源汽车、IDC搬迁上云、两地三中心多活基于EventGrid事件流实现数据实时同步的案例。
目前,软件行业整体已经进入到新的阶段,在技术架构层面,华为云中间件领域产品团队希望能够从管控、调度、运维、鉴权等多方面做成统一化架构,通过不断的技术升级创新和服务升级,为客户提供更加高效、稳定、安全的云原生服务。未来,华为云也将持续深入行业场景,希望携手客户、伙伴在基础设施的联合打造上做出更多的创新中间件产品。