※ 引述《fw190a (las)》之銘言:
: ※ 引述《ZMittermeyer (ZM)》之銘言:
: : 1 bit的定義是:如果一個黑盒子中有A與B兩種可能性,他們出現的機率相等
: : 要確定會是A還是B,我們需要的訊息量就是 1 bit
: : 所以訊息論根本上是一個在研究「消除不確定性」的系統性學問
: : 訊息量的定義就是「不確定性的消除量」
: : 而傳輸 1 bit 訊息,和你使用電腦、手機、旗語、骰子、手勢、聲波都沒有關係
: : 訊息論也可以計算旗語、骰子、手勢、聲波這些通訊協定的訊息量是幾bit
: 兩個可能性確定一個是1 bit,
: 32確定一個的時候,訊息量是5 bit。
: 消除不確定是微觀系統內的定義,
: 但可能性越多複雜度越高,訊息量單位越高也是事實,
: 從一開始試圖把訊息量定義成一個"好的東西",
: 就是你整個理論的執拗而已。
: 其實我看出來你的整套理論,就是因為你自認掌握著一種真理,
: 所以能在世界尺度評判哪個東西訊息量高哪個低,又哪個是雜訊,
: 所以你反覆套這個公式來強化自己的認知。
: 但對於他人來說你的邏輯根本雞同鴨講,
: 你這真的只是包裝的傳教行為。
: ,,,
: 訊息量首先是訊息多少的量度,然後才是不確定性消除的程度。
: 你用不確定性來說明訊息量大小,
: 基本上是預設了你有一個給定的可能性範圍,
: 才能去套/去比較兩個訊息量,如何分割那個總量。
: 但日常生活,講話的過程是在同時給出那個可能性的邊界,
: 然後再慢慢透過語法與脈絡去排精確意涵。
:
不是
一堆人在這個細節搞這麼久
香農信息熵的概念是這樣
1. Plamc是人
2. Plamc是男人
3. Plamc是PTT前版主以及作家
當你把plamc當作一個黑盒子
去告訴一個不知道底細的路人
1成立的機率最高
2其次,3最低
所以機率越低的信息量越大,所以叫信息熵
因為如果信息為真
代表你排除了更多的不確定性
H = -k log P
H是信息量 P是成立的機率
也可以寫成
H(S) = - pi log(pi)
如果把log底取2就是1 bit 表示法
pi 就是多個陳述語句的機率
這就是ZM要說明的信息量與機率
至於後面的推論對不對是另一回事
前面這種看不懂就會變雞同鴨講