エントロピーとは

• 確率$p$で起こる事象を伝える情報が持つ情報量の定義は
  
  $$-\log_2 p \;{\rm bit}$$
  
  
  であった。
• いろいろな事象が起こりうるとき、確率が均等であれば、それを伝えるの に必要な情報量は常に
  
  $$-\log_2 p \;{\rm bit}$$
  
  
  である。
• 事象ごとに確率が均等でない場合は起こる事象によって、情報量が変化する。この とき、起こる確率で重みづけした情報量の平均を考える。これを 平均情報量あるいはエントロピーという。