l8l技術メモ

機械学習・深層学習・組込みとかのメモ

メモ: Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
Lakshminarayanan et. al 2017,

https://arxiv.org/abs/1612.01474

 

要約記事

https://tech.instacart.com/3-nips-papers-we-loved-befb39a75ec2

 

Uncertaintyの推定は重要。

未知入力に対しても、high-confidenceな推定を出してしまいがち。それを防ぎたい。

 

regressionの場合はμに加えて推定の分散σも推定する。

classificationの場合はcross entropyを使うとよい。

 

model を emsenbleすると、未知データに対してのconfidenceが下がる(entropyが大きくなる、と言い換えられる)。

adversarial train も試しているがあまり効果なし?

 

実験:

emsemble(+adversarial train )でMNISTで学習すると、未知データに対してconfidenceが小さくなる。

 

要約記事から引用

f:id:l8l:20190320223432p:plain

f:id:l8l:20190320223510p:plain

 

一言:

emsembleすると未知データへのconfidenceが下がるというのはわかりやすい。試しやすいので覚えておくとよさそう。

> "In practical applications, it is highly desirable for a system to avoid overconfident, incorrect predictions
and fail gracefully. To evaluate the usefulness of predictive uncertainty for decision making, we
consider a task where the model is evaluated only on cases where the model’s confidence is above an
user-specified threshold"

とても分かる

 

アンサンブルした結果、単にconfidenceのdistribution(Pconfとおく)が写像gでg(Pconf)のように変動しただけで、何の役にも立っていないのでは?と一瞬疑問に思った。しかし、in-distributionからのサンプル(z ~ Pin)へのconfidenceはアンサンブル量Mを増やしても高いまま(Figure5)だから杞憂だった。

 

以上。