『測りすぎ - なぜパフォーマンス評価は失敗するのか？』を読んで

書籍

測りすぎ――なぜパフォーマンス評価は失敗するのか？

ジェリー・Z・ミュラー(著), 松本裕(翻訳)

みすず書房

感想

「自分たちの、自分たちによる、自分たちのための計測」しか勝たん。

逆に、他人を評価するためだったり、他人へ報告するためにする計測は逆効果になる。書籍の言葉を借りれば、「報酬や懲罰のための計測」。その数字だけが目的になり悪い副次的効果が現れたり、計測のための稼働ばかりがかかり本質的な仕事をする時間や労力を圧迫する恐れがある。外発的報酬と結びつけることで、コンプライアンス違反やモチベーション低下を引き起こす事態があることも指摘されていました。

書籍の中では、計測が効果的でなくなる条件とさまざまな業界におけるケーススタディが紹介されています。何かしら身に覚えのあるものが出てきます。うぅ。

お気に入りフレーズ

インプット測定基準、アウトプット測定基準、結果測定基準

インプット測定基準は、努力の度合いに基づく指標であり、努力の結果とは異なる。（中略）これらの指標が教えてくれるのは我々が何をやっているかであって、どのような効果が得られているかではない。その効果を知るために目を向けるべきなのはアウトプット測定基準（中略）、あるいは、もっと望ましいのは、結果測定基準だ。

プロダクト開発や開発生産性の議論でもよく言われることだが、自分たちの努力や目先のアウトプットではなく、アウトカムや結果を計測しなければ計測は効果的ではなくなってしまいます。努力を計測することがダメなわけではありませんが、最終目的を見失ってしまっては意味がありません。最終目的を計測することは絶対です。自分たちのための計測のときも、ぜひ自問自答したい内容だなと感じました。

情報を集める代償

情報を集めるには大きな代償を伴うかもしれない。マクナマラ国防長官があれほど重視した死者数を数えるために死者を探しに行って命を落としたアメリカ兵は大勢いるのだ。

ショッキングな話でした。人命までいかなくとも、このような計測のために知らず知らずにコストを払っているケースは多いように感じます。特に、誰かに（下層に）計測、報告させるケースでは、その数字を集めるために実際に何をするかコストを低く見積もってしまっていることも多いのではないでしょうか。計測することは善のように見えます。透明性が高まるし、計測しなければ改善もできないと思えます。しかし、計測の費用対効果は注意深く評価するべきです。そして、ノーコストで計測できる方法を探すことも検討するべきです。現場での計測は思った以上にコストになることがありますが、それが隠れたままフラストレーションになることもよくあるでしょう。

難しいのは...

難しいのは何を数えればいいか知ることと、そうやって数えた数字が実際には何を意味しているか知ることだ。

計測して終わりではなく、その意味まで注意深く考察しなければ誤った結論に至ってしまうことがあります。

例えば、僕に数学の点数が60点から80点にあがったならば、僕は数学が得意になった、または頑張ったということになるのでしょうか？問題が簡単だったのかもしれませんし、得意な単元だっただけかもしれません。その分英語の点数がひどく下がっていたら、僕は目的達成に近づいていると言えるのでしょうか？

数字に一喜一憂するのではなく、そこから何が起きているのかを理解できるかが重要であることを教えてくれたフレーズでした。

さいごに

個人的な結論は「自分たちの、自分たちによる、自分たちのための計測」をしようということです。計測を報酬や懲罰に使ってはいけません。

計測が失敗する（あるいは成功する）パターンやケーススタディがまとめられた面白い本でした。興味ある方はぜひお手に取ってみてください。