エントロピー (情報)
ほとんど知らないのでこれ以上書けない……
エントロピーが高い＝レアい、だと解釈している
意味がわからないよ
「何が」レアいの？？
事象？
それだと個別の事象にエントロピーなんてないからおかしい
レアいとは、ある世界におけるある事象の確率が低いこと
この定義なのならおかしい
具体的な事例を考えてみると良い？
布袋の中に白石と黒石があって、それを一つ取り出して観測することを考える
この時「白50黒50」の方が「白99黒1」よりエントロピーが高い
前者のエントロピーが1bitであるのに対して後者のエントロピーは0.08bitしかない
情報理論の定義見てみると、確率の話とか出てきてわけわからん
いや定義はわかるが、ピンと来ない感じ
エントロピーが高いほど「不確かさ」が大きいとよく言われますね
n回混乱してます
エントロピーが高い＝不確かさが大きい＝レアい、という解釈が微妙なのかもしれない
特に
不確かさが大きい＝レアい この部分レアいとは、ある世界におけるある事象の確率が低いこと
木を見ている
エントロピーはこれを指す言葉だと思っていたが、たぶん違くて
不確かとは、ある世界における事象が不安定であること
森を見ている
こっちを指しているのではないか、と今思った
>確率分布p(x)のエントロピーは
と書いてる
「事象のエントロピー」ではない
そうなのか
その事象が起きる確率（の低さ）、のような理解をしていた
情報理論や熱力学における定義はよくわからない
比喩として使われている方のエントロピーの話
と思ったけどタイトルに「（情報）」ってあるな……
そう思う
数学的には、エントロピーが個別の事象の関数ではなく、確率分布（状況）そのものの関数であることと対応
レアという言葉を使うなら、エントロピー = 起こり得る事象のレア度の期待値？
（\log \frac 1 {p(x)}を事象xのレア度と呼んでいる）
まあ確率が小さくなるほどこの値は大きくなるから筋は通ってる
エントロピーが高い = 起こり得る事象のレア度の期待値が高い
レア度が高い事象が少しだけあってもエントロピーは高くならない
レア度が（それなりに）高い事象がたくさんある（一様分布に近づく）とエントロピーは高くなる
あれ？逆では？
エントロピーは増大していくから、エントロピーが低いほうが特殊な状態なのでは
確率分布p(x)のエントロピーは
\mathcal{H}(p) := \mathbb{E}_{x \sim p} \log \frac 1 {p(x)} = - \int dx p(x) \log p(x)
確率分布の汎関数
\log \frac 1 {p(x)}の期待値
個別の事象xの情報量、自己エントロピーなどと呼ばれるぽい
レア度とも言えそう
エントロピーは平均情報量とも呼ばれる
エントロピーを最大化する分布の例
制約がない（値域のみ分かっている）場合は一様分布のときエントロピー最大
それなりの確率でとり得る状態がたくさんある状況ほど、状況の不確実性が高い
一様分布のような分布になり、エントロピーは高い
逆に、ある事象の確率が1で、それ以外の事象の確率がすべて0という状況だと、状況に不確実性はない
エントロピーは0
p=1→\log p=0よりp \log p = 0
p=0→\lim_{p\to0} p \log p = 0
情報エントロピーH(bit)
H= \sum_{i=1}^S p_i \log_2 \frac{1}{p_i}
S 現象が採り得る状態の数
i各状態
p_i状態iが起こる確率
これを連続にすると↑の定義と同じか
例
はれしかない砂漠なら
S=1（晴れだけ）
晴れの確率p_1=1
H=0 bit
晴れと雨の確率がそれぞれ50%の地点Aなら
S=2（晴れと雨の2通り）
晴れの確率p_1=雨の確率p_2=0.5
H=1 bit
地点Aの天気の不確かさは砂漠より1bit大きい
これを見たぐらいしか覚えていない