• k折交叉驗證

K折交叉驗證(k-fold cross-validation)首先將所有數據分割成K個子樣本，不重復的選取其中一個子樣本作為測試集，其他K-1個樣本用來訓練。共重復K次，平均K次的結果或者使用其它指標，最終得到一個單一估測。

這個方法的優勢在于，保證每個子樣本都參與訓練且都被測試，降低泛化誤差。其中，10折交叉驗證是最常用的。

• 實例代碼

1、數據導入并分組。導入數據，并使用caret包中的createFolds()函數，根據標簽列將數據分成10份 。

target.url <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/sonar.all-data'

data <- read.csv(target.url,header = F) 

set.seed(17)  

require(caret)  

folds <- createFolds(y=data[,61],k=10)

2、選取最優訓練集與測試集。構建for循環，得到十次交叉驗證預測的AUC值。并紀錄取值最大的一組，作為最優的訓練集與測試集劃分。

library(pROC)

max=0  

num=0 

auc_value<-as.numeric()

for(i in 1:10){  

  fold_test <- data[folds[[i]],]   #取folds[[i]]作為測試集  

  fold_train <- data[-folds[[i]],]   # 剩下的數據作為訓練集    

  fold_pre <- lm(as.numeric(V61)~.,data=fold_train)  

  fold_predict <- predict(fold_pre,type='response',newdata=fold_test)  

  auc_value<- append(auc_value,as.numeric(auc(as.numeric(fold_test[,61]),fold_predict)))

}  

num<-which.max(auc_value)

print(auc_value)

10次auc取值結果如下：

 [1] 0.7636364 0.7474747 0.8484848 0.9363636 0.7272727 0.8454545 0.9181818 0.7454545 0.7979798

[10] 0.7916667

3、構建分類器并判斷模型效果。根據前一步的結果，使用最優劃分構建線性分類器并預測。繪制出測試集的ROC曲線。

fold_test <- data[folds[[num]],]   

fold_train <- data[-folds[[num]],]

fold_pre <- lm(as.numeric(V61)~.,data=fold_train)  

fold_predict <- predict(fold_pre,type='response',newdata=fold_test)

roc_curve <- roc(as.numeric(fold_test[,61]),fold_predict)

plot(roc_curve, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),

     grid.col=c("green", "red"), max.auc.polygon=TRUE,

     auc.polygon.col="skyblue", print.thres=TRUE,main="ROC curve for the set with the largest AUC value")

線性分類器與性能評價(R語言)中隨機選取訓練集和測試集，最終測試集的AUC值僅為0.755，而本次我們通過k折交叉驗證選取訓練集和測試集，測試集AUC值達到0.936，可以看出模型效果提升顯著。