統力實在是很奇特的學科 理論的基礎有很多流派
最常見的就是 從phase space開始 搭配ergodicity或假設uniform prior
這樣就能保證distribution收斂到maximum entropy distribution
此時entropy就會正比於phase space體積or測度 取ln
簡化的版本就是大家更耳熟能詳的mode counting 排列組合
另一種是Jaynes的那種 一開始就預設maximum Shannon entropy 然後找出符合條件的
maximum entropy distribution 這種方法很簡潔易懂 但完全不考慮evolution
沒有解釋初始分布為何收斂
另外從這些討論 似乎可以看出 uniform distribution 和 entropy 的關係
在沒任何其他條件下 maximum entropy distribution 是 uniform distribution
反過來似乎可以說entropy的形式 本來就是為了 uniform distribution 量身打造的