小弟想要把網路上截取的留言做資料清洗
只留下中文字
在網路上看到以下編碼
#!/usr/bin/env python
# -*- encoding: utf8 -*-
import re
sample = u'I am from 美国。We should be friends. 朋友。'
for n in re.findall(ur'[\u4e00-\u9fff]+',sample):
print n
1.想請問這unicode是只有簡體字的範圍嗎
還是可以改成大五碼嗎
2.有其他推薦方法可以只留下中文字
去處全形標點符號跟表情符號嗎
感謝！

用re.sub刪掉不要的符號呢chstring = re.sub(r'[a-zA-Z0-9(){}《》:：％?=※\s+\.\!\/_$%^*(+\"\']+|[+——！，？、[email protected]#￥%……&*（）。,「」-]+','',sample)

好像可以耶感謝，只剩表情符號這樣不能處理～～好像不行 中文字有的會變亂碼耶

我是用 Zhon punctuation 你可以試試

你可以用負向匹配的 把不是中文的字元取代掉re.sub('[^\u4e00-\u9fff]+', '', s)

感覺樓上的方法不錯

首先應該可以考慮搬家到python3了然後用cyf大說的zhon和string內的puctuation就能解大部分 最後利用table+translate的方式來做這方法應該是python中跑最快的 re稍慢一點像numpy jupyter pandas...不少都說以後不支援py2了

C大 G大可以示範一下zhon的作法嗎～小弟新手print re.sub(ur"[%s]+" %punctuation, "", line.decode("utf-8")) 沒有替代效果

https://goo.gl/Uw6uuc 不過python2我記得語法要改呃為啥gist會被鎖啊 = = 晚點有空再弄https://tinyurl.com/y7dvolu9

用python3編譯可以了感謝！接著要處理emoji了～

我發現我punctuation另一個沒建只用maxunicode哈哈這樣根本沒用到zhon的東西XD 反正就跟eng_table一樣