搜索引擎常用的中文分詞的方法有哪些？中文分詞算法大概分為兩大類a.第一類是基于字符串匹配，即掃描字符串，如果發(fā)現(xiàn)字符串的子串和詞相同，就算匹配。這類分詞通常會加入一些啟發(fā)式規(guī)則，比如“正向/反向最大匹

搜索引擎常用的中文分詞的方法有哪些？

中文分詞算法大概分為兩大類a.第一類是基于字符串匹配，即掃描字符串，如果發(fā)現(xiàn)字符串的子串和詞相同，就算匹配。這類分詞通常會加入一些啟發(fā)式規(guī)則，比如“正向/反向最大匹配”， “長詞優(yōu)先” 等策略。這類算法優(yōu)點是速度塊，都是O(n)時間復(fù)雜度，實現(xiàn)簡單，效果尚可。也有缺點，就是對歧義和未登錄詞處理不好。b.第二類是基于統(tǒng)計以及機器學(xué)習(xí)的分詞方式這類分詞基于人工標(biāo)注的詞性和統(tǒng)計特征，對中文進(jìn)行建模，即根據(jù)觀測到的數(shù)據(jù)（標(biāo)注好的語料）對模型參數(shù)進(jìn)行估計，即訓(xùn)練。 在分詞階段再通過模型計算各種分詞出現(xiàn)的概率，將概率最大的分詞結(jié)果作為最終結(jié)果。常見的序列標(biāo)注模型有HMM和CRF。這類分詞算法能很好處理歧義和未登錄詞問題，效果比前一類效果好，但是需要大量的人工標(biāo)注數(shù)據(jù)，以及較慢的分詞速度。

機器學(xué)習(xí)需要哪些數(shù)學(xué)基礎(chǔ)？

最主要的是線性代數(shù)和概率論。

線性代數(shù)

現(xiàn)在最流行的機器學(xué)習(xí)模型，神經(jīng)網(wǎng)絡(luò)基本是就是一大堆向量、矩陣、張量。從激活函數(shù)到損失函數(shù)，從反向傳播到梯度下降，都是對這些向量、矩陣、張量的操作和運算。

其他“傳統(tǒng)”機器學(xué)習(xí)算法也大量使用線性代數(shù)。比如線性回歸

聽名字就知道和線性代數(shù)關(guān)系密切了。

而主成分分析，從線性代數(shù)的觀點看，就是對角化協(xié)方差矩陣。

概率

特別是當(dāng)你讀論文或者想深入一點的時候，概率論的知識非常有幫助。

包括邊緣概率、鏈?zhǔn)椒▌t、期望、貝葉斯推理、最大似然、最大后驗、自信息、香農(nóng)熵、KL散度，等等。

其他

神經(jīng)網(wǎng)絡(luò)很講究“可微”，因為可微的模型可以通過梯度下降的方法優(yōu)化。梯度下降離不開求導(dǎo)。所以多變量微積分也需要。另外，因為機器學(xué)習(xí)是基于統(tǒng)計的方法，所以統(tǒng)計學(xué)的知識也缺不了。不過大部分理工科應(yīng)該都學(xué)過這兩塊內(nèi)容，所以這也許不屬于需要補充的內(nèi)容。

在nlp中常用的算法都有哪些？

詞向量方面有有word2vec，tf-idf，glove等

序列標(biāo)注方面有hmm，crf等常用的算法，也可和神經(jīng)網(wǎng)絡(luò)結(jié)合使用，可用于解決分詞，詞性識別，命名實體識別，關(guān)鍵詞識別等問題！

關(guān)鍵詞提取方面可以用textrank，lda等

分類方面（包括意圖識別和情感識別等）傳統(tǒng)的機器學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)都是可以的。

其他方面，如相似度比較的余弦相似度，編輯距離以及其他優(yōu)化方面的動態(tài)規(guī)劃，維特比等很多。