Yardstickは、順に導入できる3つのスイートで構成されています。
Observe(計測):開発ツールにおけるマージ済みPRあたりのコストや、サポートにおける解決率など、各領域で重視される単位で、AIを実際の成果に基づいて計測します。活動量の指標は嘘をつきますが、成果は嘘をつきません。
Optimize(改善):スコアは動かせて初めて役に立ちます。Optimizeは、Observeが計測した内容を読み取り、スコアの引き上げ方、調整すべきプロンプト、切り替えるべきモデル、実施すべき実験を提示し、そのループを閉じます。
Treasury(統制):成果が計測できるようになれば、資金をそれに追随させることができます。チームごとに割当額を設定し、使われなかった予算を回収して、最も価値を生み出しているチームへ再配分します。
長期的なビジョンであるAutopilotは、ポリシーの範囲内でループ全体を運用し、すべての操作が記録・取り消し可能なエージェントです。
