URL

メタ情報

Ordinal classification（ordinal regression）
- 順序付きの分類問題
- 例
  - 映画の評価(1 ~ 5)の予測
    - 正解が4の時、推論結果が3と1では、明らかに3の方が近い外し方
先行研究
- K-rank method[14]
  - 各クラスを複数のバイナリ1-hot ベクトルにハードコードし、複数の二値分類器を用いて推論
- Soft methods[41, 45, 39]
  - domain transferを実現するために、soft label distribution matching lossを利用[41]
  - 人間のアノテーションと同じ評価分布を予測する[45]
  - 年齢推定において、不確実性をガウス分布で表現し、soft softmax関数を用いて、「周辺の年齢区間」も考慮に入れる[39]
- Image ranking.
  - 年齢推定
    - オーバーフィッティングを避けるために浅い畳み込みネットワークを学習することで、独立した分類問題としてアプローチ[26]
    - K - 1個の2値分類器を持つ類似のCNNを使用、それぞれの分類器は、特定の画像入力xが、与えられた年齢閾値y > kより古い顔を含むかどうかを予測するように設計[32]
  - 順序関係を制約するために共有重みを持つ複数のVGG-16を使用するアーキテクチャを開発[30][38]
- Monocular depth estimation.
  - 省略
- Horizon estimation.
  - 省略

$$ y_i = \frac{e^{-\phi(r_t, r_i)}}{\sum_{k=1}^{K} e^{-\phi(r_t, r_k)}} \quad \forall r_i \in Y　(1) $$

$Y = {r_1, r_2, ..., r_K}$: $K$ 個の順序付きカテゴリ
$y_i$ : 特定のインスタンスがランク $r_i$ であるときの、エンコードされたベクトル $y$ の成分。
$ϕ(r_t,r_i)$ : 任意の距離（または損失）関数で、真のランク$r_t$と各ランク $r_i$　との「距離」を測定する。
近傍のカテゴリは、真のクラスから遠ざかるにつれて、より小さい値を持つようになる（ただし、必ずしも０ではない）
$ϕ$ は解く問題に依存
- 絶対誤差や2乗誤差、など
ground truthを確率分布としてエンコードすることは、cross-entropyやKullback-Leibler divergenceのようなソフトマックス出力を使用する一般的な分類損失関数とも相性が良い。
- cross-entropyやKullback-Leibler divergenceは、出力と真のラベルのベクトル表現との間の「面積」（厳密には確率分布の間の差異）を最小化することを目指すため

順序情報（ordinal information）をSORDでエンコードすることにより、カテゴリ損失関数の勾配（gradient）が簡単に計算可能
前提として、cross-entropyは下記のように勾配を計算可能

$$ \frac{\partial L}{\partial p_i} = -\frac{y_i}{p_i} $$
- 証明
  - cross-entropyは以下のように定義される
  $$ L = -\sum_{i=1}^{K} y_i \log(p_i) $$
  - この損失関数$L$に対して、各$p_i$で偏微分すると
  $$ \frac{\partial L}{\partial p_i} = -\frac{y_i}{p_i} $$
cross-entropyを損失関数とし、SORD（（１）式）を利用すると勾配は以下となる
- 証明
  - まず、下記が成り立つような$C( > 0)$を定義
  - Cは、Softmaxの分母と、SORDの分母を定数項をかけて一致させるもの。
  - あとは、式変形

2行で実現可能
1. $ϕ(r_t,r_i)$を全ての$r_i \in Y$に対して計算
2. 全ての、$-ϕ(r_t,r_i)$に対し、Softmaxを計算し、soft labelを求める
特定のlayerを変更する必要がないため、有名なアーキテクチャをそのまま利用可能
K-rank methodは複数の二値分類器を用意するためパラメータも増加したが、SORDは元と同じパラメータを維持可能
ドメインを目的変数に反映させやすい
- 例
  - 単眼深度推定問題で、正解が2.3mだった場合
    - $ϕ$をそのまま計算できるのであれば、計算する
    - $r_i = 2m$と$r_{(i+1)} = 3m$というカテゴリが存在するならば、SORDをなめらかにバランスさせる

Image aesthetics(画像品質)

５段階の美的カテゴリーで評価