※ 引述《roger29 (=======中間選民=======)》之銘言：
: 根據偉大的數學家 消息理論的開山始祖 Claude Shannon的source coding theorem
: → tigertiger:稱呼Shannon數學家? 跟稱呼科P是醫師一樣不尊敬 06/29 23:50
: → tigertiger:到底哪裡專業了阿? 一個叫Shannon數學家的人 專業在哪? 06/29 23:52
: → tigertiger:八卦板怎麼了? 06/29 23:52
要我來說的話，夏農根本不是數學家，是研究內容接近數學工作的工程師。
不信？可以去問問那些數學的PhD。
但他無疑是擁有偉大著作的工程師。
wiki 上面的 mathematician 定義根本太 general，
差不多就跟在竹科掃廁所的人也被稱作工程師一樣誇張
: 推 drkkimo:霍夫曼編碼不是很基本的嗎 有什麼好特別專業? 06/29 23:57
: 沒有欸 我當初也很疑惑
:
: 有一堆很複雜的source code 像是Fano code Shannon type code...
: 但是都沒有Huffman期末作業想出來的code直觀簡單又是最佳
Shannon–Fano code (就是長度 -logP(x) 那個) 並不是 optimal code，
他只是當你的code很長的時候會越來越接近 optimal。
但 Huffman code 是 optimal 的，
原因是 Huffman Code 偷吃步用 variable- length。
同時代有 Huffman 那個構想的人可能不少，但Huffman是第一個證明 optimality 的人。
: 推 sef96121:只能朝拜了！ 06/29 23:59
: 推 NDSLite:優文 06/30 00:01
: 推 liar5566:不錯，實力跟我相當 06/30 00:01
: 推 alog:XDDD陰森宅宅是沙小la 06/30 00:01
: → tigertiger:什麼工程師 起碼也是數位教父好嗎 沒他哪來的0101 06/30 00:01
0101 那是硬體工程師的事情，乾夏農屁事。你夏農信者？
消息理論(Information Theory)這門學問聽起來很酷，
但內容真的很奇妙，甚至有點雞肋的感覺。
這門學問坦討的是 世界的極限。
就像前篇討論的問題一樣，「這樣的檔案，我的壓縮率最低可以到多低？」
或者是「這樣的傳輸通道，我的傳輸速率最快可以多快？」
夏農用 typicality 的方法回答了這些問題。
他的理論證明了「存在演算法達成這樣的極限」。
舉個例子：你要找一個 220 cm 的人來打中鋒，我跟你說，
A大學學生平均身高 220 cm，一定有學生的身高是 220 cm。
你接著問：那你可以找一個這樣的人給我嗎？
我：喔 我只負責告訴你有這樣的人而已，怎麼找另請高明
Huffman Code 為啥這麼屌？因為馬上可以寫個演算法實現
不過因為還要知道symbol distribution不是很好用，
現在演算法的主流是 Lempel–Ziv 一系流變下來的。
消息理論其實在 1980~1990 的時候因為複雜度造成實做問題被靠北成一團，
當代有不少工程師覺得這種理論就只是學界一群人在玩的。
不過 MIT 的 Galleger 提出 LDPC code 拯救了大家，
這個體系後來有一個特別的 code 叫做 Turbo Code，是目前 LTE 在使用的channel code
當年提出 Turbo Code 的時候，那些作者們沒辦法用數學證明，
所以很多學者都覺得他們應該是搞錯了，是後來用電腦跑才發現「喔 好像可以用喔」。
但在通訊理論的世界，不管演算法有沒有效，不能用數學證明大家就當你在嘴泡。
為什麼我說消息理論有點雞肋的fu？
因為消息理論研究的東西跟實作幾乎沒啥關聯。
除了上面講的 LDPC 和 Turbo 這種當紅炸子雞，
古老的 Hamming Code 現在 LTE 都還在用。
這些傳輸方法的研究成果，我覺得才是直接影響人類生活的重大發現。
當然我不是說消息理論是垃圾啦，至少他可以告訴你世界的極限。
不過現在專門做消息理論的應該也不太多就是。