情報量の正しい(詳しい)定義

• レア情報(起こる確率の低い情報)は情報量が多い。
• 起こりうる事象の確率が等しい場合(例:サイコロ)再考:
  • $確率: p, 場合の数: n, 情報量: k とする。$
  • $$p = \frac{1}{n}$$
  • $$k= \log_2 n = \log_2 \frac{1}{p}$$
• 確率が等しくないケースもこれに準じる。