半監督svm
① 求助如何使用libsvm實現半監督支持向量機演算法
SVM有如下主要幾個特點:
(1)非線性映射是SVM方法的理論基礎,SVM利用內積核函專數代替屬向高維空間的非線性映射;
(2)對特徵空間劃分的最優超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;
(3)支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量。
(4)SVM 是一種有堅實理論基礎的新穎的小樣本學習方法。它基本上不涉及概率測度及大數定律等,因此不同於現有的統計方法。從本質上看,它避開了從歸納到演繹的傳統過程,實現了高效的從訓練樣本到預報樣本的「轉導推理」,大大簡化了通常的分類和回歸等問題
② 用於數據挖掘的分類演算法有哪些,各有何優劣
1、樸素貝葉斯(Naive Bayes, NB)
簡單,就像做一些數數的工作。
如果條件獨立假設成立的話,NB將比鑒別模型(如Logistic回歸)收斂的更快,所以你只需要少量的訓練數據。
如果你想做類似半監督學習,或者是既要模型簡單又要性能好,NB值得嘗試.
2.Logistic回歸(Logistic Regression, LR)
LR有很多方法來對模型正則化。比起NB的條件獨立性假設,LR不需要考慮樣本是否是相關的。
如果你想要一些概率信息(如,為了更容易的調整分類閾值,得到分類的不確定性,得到置信區間),或者希望將來有更多數據時能方便的更新改進模型,LR是值得使用的.
3.決策樹(Decision Tree, DT)
DT是非參數的,所以你不需要擔心野點(或離群點)和數據是否線性可分的問題(例如,DT可以輕松的處理這種情況:屬於A類的樣本的特徵x取值往往非常小或者非常大,而屬於B類的樣本的特徵x取值在中間范圍)。
DT的主要缺點是容易過擬合,這也正是隨機森林(Random Forest, RF)(或者Boosted樹)等集成學習演算法被提出來的原因。
此外,RF在很多分類問題中經常表現得最好,且速度快可擴展,也不像SVM那樣需要調整大量的參數,所以最近RF是一個非常流行的演算法.
4.支持向量機(Support Vector Machine, SVM)
很高的分類正確率,對過擬合有很好的理論保證,選取合適的核函數,面對特徵線性不可分的問題也可以表現得很好。
SVM在維數通常很高的文本分類中非常的流行。由於較大的內存需求和繁瑣的調參,我認為RF已經開始威脅其地位了.