[問題] token在這個上下文中所代表的意思

作者: zzss2003 (brotherD)   2017-10-23 18:12:30
各位前輩好,不曉得在這個版可不可以討論這種問題?如果不行還請版主幫我把這篇刪掉
(我記得這邊好像不能自刪?)
在國外論壇中,時常看到token這個字,但我始終不清不楚它的定義。
例如,在ISO/IEC 9899:1990這個規範,對argument的定義中:
An expression in the comma-separated list bounded by the parentheses in a
function call expression. or a sequence of preprocessing tokens in the
comma-separated list bounded by the parentheses in a function-like macro
invocation. Also known as “actual argument” or “actual parameter.”
上網查到了這篇stack overfolow:
https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token
看完一遍後,對token這個字的定義還是很模糊。
請問,token這個意思用中文表達的話,是代表著什麼意思呢?
作者: Lipraxde (Lipraxde)   2017-10-23 18:32:00
以前再看yacc/lex時有看到,跟語法分析有關?
作者: james732 (好人超)   2017-10-23 19:38:00
https://en.wikipedia.org/wiki/Lexical_analysis我自己的簡單理解是"一個有意義的最小單位" (?)
作者: chuegou (chuegou)   2017-10-23 20:03:00
counter的感覺?
作者: Hazukashiine (私は幸せです)   2017-10-23 21:26:00
在講 token 的時候 我們一般不會說它具有語意因為程式碼是一個連續的位元流 沒有實體的切割
作者: Bencrie   2017-10-23 21:27:00
衍生物(誤
作者: Hazukashiine (私は幸せです)   2017-10-23 21:28:00
所以我們要定義一組規則去把程式碼切斷成數個單元這個過程叫做 tokenization 來提供語法分析器調用一但語法分析器建立出語法樹後 程式碼變有了意義
作者: longlongint (華哥爾)   2017-10-24 00:42:00
就代幣(誤個人的理解 "一片小東西上面有寫字"
作者: CoNsTaR ((const *))   2017-10-24 03:12:00
就是能證明你身份的一樣物品啊
作者: MOONRAKER (㊣牛鶴鰻毛人)   2017-10-24 03:16:00
證明身分那是寫網路程式的時候好嗎token就如上述 程式碼是一個大字串 把這個大字串依照規則切成小段 就是token考慮意義 你可以稱它為「單字」 反正電腦語言的WORD是別的意思不會混淆 而token是合乎語法的基本片段(syntactic element) 稱為「單字」也並無問題叫「字彙」或更模糊的「片段」也行 「字串」也勉強類似很難搞的詞還有"handle" 那比token還頭大
作者: CoNsTaR ((const *))   2017-10-24 04:29:00
原來我那個解釋還真的可以用在寫程式上啊 XDDD
作者: springman (司布林)   2017-10-24 09:40:00
在分析運算式時,運算元、運算子、括號 等都是 token。
作者: MOONRAKER (㊣牛鶴鰻毛人)   2017-10-24 16:07:00
規格書不好看是一定的啊 準備一些基礎知識才比較好看
作者: sppmg (sppmg)   2017-10-24 22:15:00
讓我想到 latex3
作者: MOONRAKER (㊣牛鶴鰻毛人)   2017-10-25 14:02:00
那不是隨便找就有PDF嗎Sorry正式的PDF是要錢的 但是你搜尋ISO 9899:1990就有一堆非常接近的版本了 還可能在中國有意外驚喜
作者: descent (「雄辯是銀,沉默是金」)   2017-10-26 13:02:00
我是印出來慢慢看

Links booklink

Contact Us: admin [ a t ] ucptt.com