メモ: Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
Lakshminarayanan et. al 2017,
https://arxiv.org/abs/1612.01474
要約記事
https://tech.instacart.com/3-nips-papers-we-loved-befb39a75ec2
Uncertaintyの推定は重要。
未知入力に対しても、high-confidenceな推定を出してしまいがち。それを防ぎたい。
regressionの場合はμに加えて推定の分散σも推定する。
classificationの場合はcross entropyを使うとよい。
model を emsenbleすると、未知データに対してのconfidenceが下がる(entropyが大きくなる、と言い換えられる)。
adversarial train も試しているがあまり効果なし?
実験:
emsemble(+adversarial train )でMNISTで学習すると、未知データに対してconfidenceが小さくなる。
要約記事から引用
一言:
emsembleすると未知データへのconfidenceが下がるというのはわかりやすい。試しやすいので覚えておくとよさそう。
> "In practical applications, it is highly desirable for a system to avoid overconfident, incorrect predictions
and fail gracefully. To evaluate the usefulness of predictive uncertainty for decision making, we
consider a task where the model is evaluated only on cases where the model’s confidence is above an
user-specified threshold"
とても分かる
アンサンブルした結果、単にconfidenceのdistribution(Pconfとおく)が写像gでg(Pconf)のように変動しただけで、何の役にも立っていないのでは?と一瞬疑問に思った。しかし、in-distributionからのサンプル(z ~ Pin)へのconfidenceはアンサンブル量Mを増やしても高いまま(Figure5)だから杞憂だった。
以上。