當搜索引擎蜘蛛將網(wǎng)站內容索引后就會通過中文分詞技術進行入庫，這是一個龐大的工程，百度搜索引擎對中文分詞技術掌握非常熟練，這也就是為什么在中文搜索領域百度搜索引擎一直都是獨大的原因。

1.字符串匹配的分詞方法
首先來看正向最大匹配法，就是把一個詞從左至右來分詞。舉個例子：“不知道你在說什么”，這句話采用正向最大匹配法是如何分的呢?“不知道，你，在，說什么”與正向最大匹配法相對應的是反向最大匹配發(fā)。這是第二種分詞方法。
其次是反向最大匹配法，來分上面我舉的例子是如何分的呢 “不知道你在說什么”。反向最大匹配法來分上面這段是如何分的�！安�，知道，你在，說，什么”，這個就分的比較多了，反向最大匹配法就是從右至左。
最后是最短路徑分詞法。這個什么理解呢 ，就是說我一段話里面要求切出的詞數(shù)是最少的。還是上面哪句話“不知道你在說什么”最短路徑分詞法就是指，我把上面哪句話分成的詞要是最少的。不知道，你在，說什么，這就是最短路徑分詞法，分出來就只有2個詞了 。好了，當然還有上面三種可以相互結合組成一些分詞方法。比如正向最大匹配法和反向最大匹配法組合起來就可以叫做雙向最大匹配法。
2.詞義分詞法
這種其實就是一種機器語音判斷的分詞方法。很簡單，進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象來分詞，這種分詞方法，現(xiàn)在還不成熟。處在測試階段。
3.統(tǒng)計的分詞方法
這個很簡單，就是根據(jù)詞組的統(tǒng)計，就會發(fā)現(xiàn)兩個相鄰的字出現(xiàn)的頻率最多，那么這個詞就很重要。就可以作為用戶提供字符串中的分隔符。這樣來分詞。比如，“我的,你的，許多的，這里，這一，那里”。等等，這些詞出現(xiàn)的比較多，就從這些詞里面分開來。