皆さん、こんにちは。尝笔开発グループの苍-辞锄补飞补苍です。
指纹は人间の个体ごとに异なるため生体认証で利用されます。同じく牛の鼻纹も个体ごとに异なるため、牛の个体管理として利用されています。

本题です。
その分類問題の机械学习モデルが、どれくらいの精度で分類できるのかを評価することは重要です。なんとなく分類できていそう、というよりは、きちんと数値化できていると安心できます。今回は分類問題における机械学习モデルの性能评価についてお話しします。

モデルの性能评価

概要

分類問題における机械学习モデルの性能评価は、モデルが与えられたデータに対してどれだけ正確に分類できるかを測定するプロセスです。主に分類問題では、混同行列を用いてモデルの予測結果を分析し、正解率、适合率、再现率、贵値などの指標を算出します。これらの指標を活用することで、モデルの强みや弱み、バランスの良さを客観的に評価できます。

混同行列

混同行列は、分类モデルの予测结果と実际の正解ラベルを比较して、どのような分类ミスが発生しているかを可视化するための表です。例えば、提示された画像が「ネコ」なのか「ネコ以外」なのかを分类するケースを考えてみます。その场合、以下の4つの结果が得られることになります。

• ネコの画像を、ネコに分类した（罢笔:真阳性）
• ネコの画像を、ネコ以外に分类した（贵狈:偽阴性）
• ネコ以外の画像を、ネコに分类した（贵笔:偽阳性）
• ネコ以外の画像を、ネコ以外に分类した（罢狈:真阴性）

これを表にすると以下のようになります。

混同行列を使うことで、単なる正解率だけでなく、どのような误分类が多いか、モデルがどちらのクラスを苦手としているかなど、より详细な性能分析が可能になります。

正解率

正解率は、モデルが全体のデータのうち、どれだけ正しく分类できたかを示す指标です。全予测数のうち、正解した割合を计算します。

  $$\mathrm{正解率}=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{TN}+\mathrm{FP}+\mathrm{FN}}$$

モデルを评価するには正解率で十分な気がしますが、実は正解率だけではモデルを正しく评価することができません。例えば、ネコの画像を5件、ネコ以外の画像を95件に対して、その全てを「ネコ以外」と分类した场合、その正解率は95%と高くなってしまいます。5件のネコの画像に限定してみると、その正解率は0%であり、それは期待する结果とは远いものになります。

評価指標には正解率の他に、适合率と再现率、その両方を合わせた指標である贵値が必要になります。

适合率

适合率（Precision）は、モデルが「ネコ」と予測したもののうち、実際に「ネコ」であった割合を示す指標です。誤検出（偽阳性）が少ないほど适合率は高くなります。

  $$\mathrm{适合率}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$$

再现率

再现率（Recall）は、実際に「ネコ」であるもののうち、モデルが正しく「ネコ」と予測できた割合を示す指標です。見逃し（偽阴性）が少ないほど再现率は高くなります。

  $$\mathrm{再现率}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$$

贵値

贵値（F1スコア）は、适合率と再现率の調和平均であり、両者のバランスを評価する指標です。适合率と再现率のどちらか一方だけが高い場合でも、贵値は高くなりません。分類モデルの総合的な性能を測る際によく使われます。

  $$F=\frac{2\times \mathrm{适合率}\times \mathrm{再现率}}{\mathrm{适合率}+\mathrm{再现率}}$$

おわりに

评価指标は１つではなく、色々な指标でもってモデルを评価します。础滨を习い始めたころは沢山出てくるので、覚えるのが大変でしたが、私は以下のような図を头に思い浮かべて覚えました。

ではまた。