解析英語句子的例子
例如,在句子中:
那蛋糕非常好吃。
英語語言的規則將使蛋糕一個名詞,極端的副詞修飾的形容詞不錯,並通過這種分析的含義可以理解。
然而,這種分析依賴於我們認識到所使用的符號序列是單詞。如果我們不熟悉使用的字元,我們就無法做到這一點。如果我們使用不熟悉的符號(例如中文)遇到句子,則以這種方式解析可能會很困難。這是一箇中文句子的例子:
我可以寫一點兒中文。
對於沒有閱讀中文字元的人來說,不清楚哪些符號組合形成單詞。處理英語或中文時計算機演算法也是如此。
因此,必須通過稱為詞法分析或掃描的過程來進行解析,其中將各個字元組合在一起形成識別的符號,我們通常可以將其稱為單詞,但在解析演算法中稱為標記。