※ 引述《harohepowegr (harohepowegr)》之銘言:
: 先讀入兩個txt檔
: b1
: This is a book
: This is a pen
: This is a table
: This is a desk
: b2
: This is a papaya
: This is a pineapple
: This is a banana
: This is a melon
我想這是一個計算每個單字(以空格作斷詞)的一隻程式。
以下是我自己的意見提供你參考,也歡迎大家討論 ~
: 以下為程式碼
: #讀檔函式
: def readbook(filename):
:     readin = open(filename)
:     count = []
:     for line in readin:
:         letter = line.split()
:         count = count + letter
:     return count
首先,如果是增加一個 list 內的元素,可以善用 .append(), .extend()
這邊可以改寫成 count.extend(line.split())
  def readbook(filename):
      count = []
      with open(filename) as f:
          for line in f:
              count.extend(line.split())
      return count
: #計算出現次數
: def list2dict(count):
:    ldict = dict()
:    for ch in count:
:        ldict[ch]=ldict.get(ch,0)+1
:    return ldict
用 dict 計算詞頻,可以善用 Python standard library 中的 collections.Counter
https://docs.python.org/3/library/collections.html#collections.Counter
此段程式碼可以用 return Counter(count) 來取代
Counter 有非常多好用的功能,包含他相加就是次數的相加,不存在的 key 會回傳 0,
提供 .most_common() 的詞頻排序功能…(請看官網說明)
在這邊能用 Counter.update() 的函式來更新詞頻,可以傳入 list 或者 dict
: book1 = readbook('b1.txt')
: book2 = readbook('b2.txt')
: text = list2dict(book1+book2)
: print('全部出現的單字和次數')
: print(list2dict(book1+book2))
因此整隻程式可以改寫成:
from collections import Counter
word_freq = Counter(readbook('b1.txt'))
word_freq.update(readbook('b2.txt'))
print(word_freq)
為什麼寫入的內容不一樣,你可以試試以下的函式:
with open('output.txt', 'w') as f:
    f.write(str(word_freq))
細節可以再想想~
再來講斷詞的部份。這些程式碼可以寫得再簡單一點,
在 readbook 中可以用雙層的 list comprehension 來完成:
with open(filename) as f:
    return Counter(
        [wd for line in f for wd in line.split()]
    )
或者,他根本可以是一個 generator
    return Counter(
        w for l in f for w in line.split()
    )
以上~