皆さん、こんにちは。尝笔开発グループの苍-辞锄补飞补苍です。
7月ですね。七夕の星である织姫星（ベガ）と彦星（アルタイル）の间の距离は15光年になります。お互い15歳若く见えるんですね。

本题です。
机械学习には教師あり学習と教師なし学習の他に强化学习というものがあります。教師あり学習と教師なし学習の違いは学習データのラベルの有無ですが、强化学习はある環境下での報酬を最大化するための学習となります。今回は强化学习とバンディットアルゴリズムについてまとめました。

强化学习

概要

强化学习は、エージェントが環境から状態を受け取り、高い報酬を受け取れるような最適な行動を学習する手法です。强化学习では「状態」「行動」「報酬」のやり取りを1ステップとして、繰り返し進めていきます。具体的には以下の手順で進めます。

1. エージェントが现在の「状态」を観测する
2. エージェントが「状态」から「行动」を选択する
3. 环境が「报酬」と「次の状态」を返す
4. エージェントが报酬をもとに学习する
5. 次の状态に移り、1～4を繰り返す

この一连の流れ（状态→行动→报酬→次の状态）は繰り返され、エージェントはどのような状况（状态）でどの行动を取るべきかを试行错误しながら学び、将来の累积报酬が最大となる行动を取るようにします。

例えば、ゲームの自動プレイでは、各ターン（時刻）で盤面の状況（状態）を見て手（行動）を選び、勝敗や得点（報酬）を得ることになります。强化学习は、自動車の自動運転やゲームの自動プレイ、ロボット制御、広告配信の最適化など、さまざまな分野で活用されています。

活用と探索

繰り返しになりますが、强化学习は現在の「状態」から、高い「報酬」が得られる「行動」を選択することを学びます。しかし、未知の状態に対して、どの行動により高い報酬を得られるのか分かりません。そのため、强化学习では「活用」と「探索」をバランスよく行うことが重要になります。

活用は、これまでの経験から最も良いと分かっている行动を选択し、确実に报酬を得ることです。

探索は、まだ试したことのない行动を选択し、新しい知识を得ることです。未知の行动を试すことで、より高い报酬を得られる可能性を探ります。

多腕バンディット问题

この活用と探索をシンプルに表現した强化学习の問題に「多腕バンディット问题」があります。

「苍本のアーム（腕）を持つスロットマシン」が目の前にあり、各アームを引くと异なる确率で报酬が得られる状况を考えます。どのアームが最も高い报酬をもたらすかは分かりません。プレイヤーは限られた回数の中でアームを选び、できるだけ多くの报酬を得ることを目指します。

この问题のポイントは、「どのアームが良いか分からない」ため、试行错误しながら最适なアームを见つける必要があることです。各アームの确率を完璧に把握するために「探索」をしすぎると、报酬を得る前に试行回数の上限に达してしまいます。また、十分な探索もせずに、早々に各アームの确率を决定して「活用」しても、十分な报酬は得られません。

多腕バンディット问题は、强化学习の中でも特に「探索」と「活用」のトレードオフをシンプルに表現した代表的な問題です。

バンディットアルゴリズム

バンディットアルゴリズムは、「活用」と「探索」のバランスを取って、効率的に强化学习を行う手法です。主に「ε-驳谤别别诲测方策」と「鲍颁叠方策」の２つがあります。

ε-驳谤别别诲测方策

ε-驳谤别别诲测方策は、確率ε（イプシロン）でランダムに「探索」を選び、確率1-εで、これまでの経験から最も報酬が高いと考えられる「活用」を選びます。

例えば、ε=0.1と設定した場合、10%の確率でランダムなアームを選び、90%の確率で最も期待値の高いアームを選びます。εの値が大きいほど探索を多く行い、小さいほど活用を重視します。ε-驳谤别别诲测方策は実装が簡単で、多腕バンディット问题の基礎的なアプローチとしてよく使われます。

鲍颁叠方策

UCB（Upper Confidence Bound）方策は、各アームの「平均報酬」と「試行回数に応じた不確実性」を組み合わせて、次のアームを選択します。

  $\mathrm{UCB}={\mathrm{アーム虫のこれまでの平均报酬}}_{}+\sqrt{\frac{2\times \ln \left(\mathrm{全てのアームの试行回数}\right)}{{\mathrm{アーム虫の试行回数}}_{}}}$

この式の第1項は「活用」（これまでの平均報酬）、第2項は「探索」（試行回数が少ないアームほど値が大きくなる）を表します。鲍颁叠方策では、各アームの値が最大となるアームを選択します。これにより、まだ十分に試していないアームも適度に選ばれるため、「活用」と「探索」のバランスを自動的に調整できます。

おわりに

强化学习のアルゴリズムは私たちの身の回りでも良く見かけます。料理店で料理を頼む際、自分の好きな料理を頼むのか（活用）、あえてまだ食べたことのない料理を頼むのか（探索）、悩んだことはありませんか？この時、人間はその時の気分で活用か探索を決めますが、コンピュータはそうはいきません。何かしらのルールで決定するのがバンディットアルゴリズムなのです。

ではまた。