XNews

Airbnb、JVMサービス向けの耐久性ワークフローエンジン「Skipper」をオープンソース化

Airbnb、JVMサービス向けの耐久性ワークフローエンジン「Skipper」をオープンソース化

Airbnbは、JavaおよびKotlinサービス向けの軽量な耐久性ワークフロー実行ライブラリ「Skipper」をオープンソース化した。既存サービスに組み込み、ワークフロー状態を既存データベースにチェックポイントとして保存するため、別途オーケストレーションクラスタを必要としない。複数のサービスレプリカはリースを介してタスクを調整し、リカバリ時にはワークフローメソッドを再生しつつ、永続化されたアクション結果を返す。Skipperは下流の実行が正確に1回であることを保証しないため、開発者は冪等性を確保する必要がある。オープンソース版はMySQLとSQLiteのアダプタを提供し、PostgresとDynamoDBは計画中である。

イベントのバージョン 1.

Key insights

クラスタではなくライブラリ

Skipperは既存サービスに追加するライブラリであり、運用するコントロールプレーン、クラスタ、新しいデータストアは不要である。ワークフロー状態は、サービスが既に使用しているデータベースにチェックポイントとして保存される。

リースベースのレプリカ調整

複数のサービスレプリカがデータベースを共有し、リースを使用してタスクを調整する。1つのレプリカが失敗した場合、別のレプリカが引き継ぐことができる。

永続化された結果による再生

リカバリ時、Skipperはワークフローメソッドを最初から再生するが、既に永続化されたアクションは再実行せず、保存された結果を返す。ワークフローはスレッドを保持せずにシグナルやタイマーのために一時停止することもできる。

正確に1回の保証なし

Skipperは下流の操作が1回だけ実行されることを保証できない。一部のチェックポイントはデフォルトでバッチ処理され、下流呼び出しとチェックポイントは1つのアトミックトランザクションではないため、開発者は支払いやクーポン発行などの操作について冪等性を確保する必要がある。

アダプタと内部規模

オープンソース版はMySQLとSQLiteのアダプタを提供し、マルチインスタンスの本番環境にはMySQLが推奨される。PostgresとDynamoDBは計画中である。Airbnbは内部で15以上のユースケースをカバーし、ピーク時には毎秒10,000ワークフローに達したと報告しており、この数値はDynamoDBで測定されたものである。

Source posts