CQF機(jī)器學(xué)習(xí)：高維統(tǒng)計(jì)中過(guò)參數(shù)化為何能避免過(guò)度擬合？

1. 數(shù)據(jù)不要太多。比如有200個(gè)特征，如果用1000個(gè)數(shù)據(jù)，那么是p>n，普通的低維統(tǒng)計(jì)；但如果用100個(gè)數(shù)據(jù)，就是p>n，變成高維統(tǒng)計(jì)了，高維統(tǒng)計(jì)就不怕過(guò)度擬合了。
2. 可以盡情使用更多的參數(shù)和更復(fù)雜的模型。因?yàn)槊菜拼罄姓f(shuō)最后測(cè)試誤差還是會(huì)下降的，那么只要參數(shù)越來(lái)越多，大力出奇跡就可以的。
3. double descent不是深度學(xué)習(xí)特有。

random_features <- function(n=100, d=100, num_informative_features=20) {

  y <- rnorm(n)

  X <- matrix(rnorm(n*min(d, num_informative_features)), nrow=n) + y

  if (d>num_informative_features) 

    X <- cbind(X, matrix(rnorm(n*(d-num_informative_features)), nrow=n))

  return (list(X=X,y=y))

library(lmeVarComp)

set.seed(200)

n <- 200

ds <- seq(from=20, to=2*n, by=20)[-10]

num_informative_features <- 1000

nreps <- 10

mses <- matrix(0, nrow=length(ds), nreps)

train_errors <- matrix(0, nrow=length(ds), nreps)

for (rep in 1:nreps) {

  mse <- c()

  train_error <- c()

  for (d in ds) {

    aa <- random_features(n,d,num_informative_features)

    Xtrain <- aa$X

    ytrain <- aa$y

    w <- mnls(Xtrain, ytrain)

    bb <- random_features(round(n/10),d,num_informative_features)

    Xtest <- bb$X

    ytest <- bb$y

    mse <- c(mse, sum((ytest-Xtest%*%w)^2))

    train_error <- sum((ytrain-Xtrain%*%w)^2)

  }

  mses[,rep] <- mse

  train_errors[,rep] <- train_error

}

mean_mse <- apply(mses, 1, mean)

plot(ds,mean_mse, type="l")