CQF機(jī)器學(xué)習(xí)：高維統(tǒng)計中過參數(shù)化為何能避免過度擬合？

1. 數(shù)據(jù)不要太多。比如有200個特征，如果用1000個數(shù)據(jù)，那么是p>n，普通的低維統(tǒng)計；但如果用100個數(shù)據(jù)，就是p>n，變成高維統(tǒng)計了，高維統(tǒng)計就不怕過度擬合了。
2. 可以盡情使用更多的參數(shù)和更復(fù)雜的模型。因?yàn)槊菜拼罄姓f最后測試誤差還是會下降的，那么只要參數(shù)越來越多，大力出奇跡就可以的。
3. double descent不是深度學(xué)習(xí)特有。

random_features <- function(n=100, d=100, num_informative_features=20) {

  y <- rnorm(n)

  X <- matrix(rnorm(n*min(d, num_informative_features)), nrow=n) + y

  if (d>num_informative_features) 

    X <- cbind(X, matrix(rnorm(n*(d-num_informative_features)), nrow=n))

  return (list(X=X,y=y))

library(lmeVarComp)

set.seed(200)

n <- 200

ds <- seq(from=20, to=2*n, by=20)[-10]

num_informative_features <- 1000

nreps <- 10

mses <- matrix(0, nrow=length(ds), nreps)

train_errors <- matrix(0, nrow=length(ds), nreps)

for (rep in 1:nreps) {

  mse <- c()

  train_error <- c()

  for (d in ds) {

    aa <- random_features(n,d,num_informative_features)

    Xtrain <- aa$X

    ytrain <- aa$y

    w <- mnls(Xtrain, ytrain)

    bb <- random_features(round(n/10),d,num_informative_features)

    Xtest <- bb$X

    ytest <- bb$y

    mse <- c(mse, sum((ytest-Xtest%*%w)^2))

    train_error <- sum((ytrain-Xtrain%*%w)^2)

  }

  mses[,rep] <- mse

  train_errors[,rep] <- train_error

}

mean_mse <- apply(mses, 1, mean)

plot(ds,mean_mse, type="l")