XNews

Airbnb开源面向JVM服务的Skipper持久工作流引擎

Airbnb开源面向JVM服务的Skipper持久工作流引擎

Airbnb开源了Skipper,这是一个面向Java和Kotlin服务的轻量级持久工作流执行库,可嵌入现有服务并将工作流状态检查点保存到现有数据库,从而无需单独的编排集群。多个服务副本通过租约协调任务,恢复时重放工作流方法并返回已持久化的操作结果。Skipper不保证下游执行的恰好一次语义,因此开发者必须确保幂等性;开源版本提供MySQL和SQLite适配器,Postgres和DynamoDB计划中。

事件版本 1.

Key insights

库而非集群

Skipper是添加到现有服务中的库,无需控制平面、集群或新的数据存储来运维。工作流状态检查点保存到服务已使用的数据库中。

基于租约的副本协调

多个服务副本共享数据库,并使用租约协调任务。如果一个副本失败,另一个副本可以接管。

带持久化结果的重放

恢复时,Skipper从头重放工作流方法,但已持久化的操作会返回保存的结果,而不是重新执行。工作流还可以暂停等待信号或定时器,而不占用线程。

不保证恰好一次

Skipper无法保证下游操作只发生一次。某些检查点默认批量处理,下游调用和检查点不是原子事务,因此开发者必须确保支付和优惠券发放等操作的幂等性。

适配器与内部规模

开源版本提供MySQL和SQLite适配器,多实例生产环境推荐使用MySQL;Postgres和DynamoDB计划中。Airbnb报告内部覆盖超过15个用例,峰值达到每秒10,000个工作流,该数据使用DynamoDB测量。

Source posts