Selected Work 01
Operations Control Plane
AI-assisted Operations Reliability
NOC-AI
AIの判断だけに運用操作を任せず、承認・状態・実行・Reconciliation・Verificationを分離した運用制御基盤。
7日間継続稼働検証:実施中
Control path
- 01Approve操作意図を承認
- 02Persist状態を永続化
- 03ExecuteWorkerが実行
- 04Reconcile不確実な結果を収束
- 05Verify独立して結果を検証
Engineering evidence6項目の検証と限界を確認
Engineering evidence
障害時のふるまいを、状態遷移として検証。
完了したfailure validationだけを検証済みとして扱い、進行中のsoakと分けて表示しています。
- Durable state
- PostgreSQL job / leaseにcontrol-plane stateを保持。
- Crash recovery
- Worker crash後の処理回復をfailure injectionで検証。
- Ownership
- lease競合時のstale-owner rejectionを検証。
- Uncertain write
- 結果が不確実なwriteをReconciliationで収束。
- Verification
- 実行経路から独立した結果確認を実施。
- Evidence boundary
- 商用本番利用および一般的なexactly-onceは主張しません。