「兒童/節約」 還是 「兒童節/約」

「兒童/節約」 還是 「兒童節/約」 CorpusTalk分享

雷 蕾博士，教授 (華中科技大學)CorpusTalk 講述語言學和語料庫的故事堅持原創 不定期更新歡迎轉載 請留言告知

「兒童/節約」 還是 「兒童節/約」 CorpusTalk分享

昨天發布了明年兒童節期間在華科舉辦的語料庫語言學大會徵文啟事。

為方便記憶，啟事取名」2018兒童節約在華科」。

於是引來數位老師吐槽：」兒童/節約/在/華科」 是啥子嘛？

漢文與西方語言的一大不同是，其書寫系統的詞或字之間沒有空格。也就是說，漢文書寫系統沒有用空格來表示詞或字的邊界。

這樣帶來的問題是，人們在理解句子時，由於分詞不同，對句子的理解大相徑庭,或造成歧義。

上面的」兒童/節約」 還是 「兒童節/約」 就是典型的例子。

另一個很好玩兒的例子是 「武漢市長江大橋」 。

到底是 「武漢市/長江大橋」 還是 「武漢/市長/江大橋」?

(話說武漢人不會說」武漢市/長江大橋」，多數情況下會說 「長江大橋」 或 「一橋」 「二橋」 ^_^)

「語料庫語言學探索」 微信群的 @張繼東 教授還提供了一個更好玩兒的例子：

「結婚的和尚未結婚的確是個現實問題。」

—— 怎麼分詞？

@張繼東 教授提供的機器分詞的結果是：

"結婚的 和尚 未 結婚 的確 是 個 問題" ！

最後，推薦幾款常見好用的漢語分詞系統：

中科院分詞系統ICTCLAS (C++, http://ictclas.nlpir.org/nlpir/)

Stanford 漢語分詞系統 (Java, https://nlp.stanford.edu/software/segmenter.shtmls)

結巴漢語分詞 (Python, https://github.com/fxsjy/jieba，開源)

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！