Re: [問題] 關於binary檔案 / text檔案

作者: brianhsu (墳墓)   2015-05-18 16:23:45
※ 引述《noapaov (單身漢)》之銘言:
: 請問一下各位大大, 想請問一下我的理解是否有錯誤
: 檔案類型一般分二進位檔案(binary file)與文字檔(text file)
: 文字檔案存的是檔案編碼後的資料例如UTF-8編碼, 存的內容是UTF-8編碼資料,
: 我們看會出現中文是因為編輯器根據編碼進行了對照表的轉換
: 二進位檔案存的是二進制的內容也就是(0101), 因方便閱讀,
: 編輯器打開二進制有時會轉換成16進制(\u5f35)
: 但電腦要讀取時, 會將文字檔案再轉換成二進制檔案,
: 而二進位檔案則可直接讀取檔案內容,
: (1) 我的理解有問題嗎?
應該說所有檔案都是 0101 組成,都是 binary,所謂的 text file 也一樣。
一個最簡單的例子,假設一個文字檔,裡面內容是 ABCDE 換行,那麼我們
可以在 Linux 上用 cat 指令來看他,會顯示出 ABCDE 和一個空白行:
brianhsu@ToshibaZ30 ~ $ cat test.txt
ABCDE
brianhsu@ToshibaZ30 ~ $
你也可以用 xxd 來直接看該檔最原始的二進位資料,就會用二進位的方式
來顯示了:
brianhsu@ToshibaZ30 ~ $ xxd -b test.txt
00000000: 01000001 01000010 01000011 01000100 01000101 00001010 ABCDE.
00000006: 00001010 .
然後會發現 01000001 換成十進位是 65,正好是 A 的 ASCII 值。
換句話說,不論是所謂的 binary 還是 text 其實都存的都是二進位的東西,
只是當你說他是 text file 的時候,系統和程式會把用你指定的編碼來解碼,
這也是為什麼如果在瀏覽器上調編碼(例如切成 Big5)的時候會出現亂碼的
關系--因為對每一種編碼來說,怎麼去解釋哪一個 byte 是什麼意思是不
一樣的。
: (2) 如果是我上述的方式, 那我想請問(binary file)是根據什麼編碼進行轉換成機器碼的?
看檔案格式,每一種檔案格式都會定義檔案裡的哪個 byte 是什麼意思,這
樣程式才知道要怎麼解讀檔案裡那一連串的 010101 是幹嘛用的。
如果是自己寫程式,也可以自己定義自己寫的檔案每一個 byte 代表什麼,你
想要用 00000000 來代表整數 1 也沒人可以管你(只要你讀進來的時候處理好
就好)。
: (3) unicode檔案(文字檔案) 轉成二進制檔案是直接將unicode編碼(\u5f35)轉成二進進制嗎?
首先,Unicode 其實有好幾個層面,你講的 \u5f35 應該是指 CodePoint,
Unicode 的做法是會為每個字指定一個叫 CodePoint 的編號,但這只是概
念上的編碼,至於實際上在電腦上要怎麼表示這個號碼,又有另外的規範。
所以才會出現 UTF-8 / UTF-16 / UTF-32 這些東西,即便是同一個 CodePoint,
在使用不同的編碼方式的時候,也都會有不同的把 CodePoint 轉成 010101
的方式。
像 UTF-8 中,一個 CodePoint 可能會佔用 1 ~ 4 個 byte,但 UTF-16 的方
式又不一樣,所以如果用 UTF-16 的方式去解析 UTF-8 的檔案,就會得到一
大堆的亂碼。
有興趣的話可以看一下這個網頁,說明的很清楚:http://tinyurl.com/cvultt
作者: realmeat (真肉)   2015-05-18 16:26:00
http://unicode.org/ 真心不騙

Links booklink

Contact Us: admin [ a t ] ucptt.com