Создать новые столбцы фиктивной переменной из категориальной переменной
У меня есть несколько наборов данных с 75 000 наблюдений и type переменная, которая может принимать значение 0-4. Я хочу добавить пять новых фиктивных переменных в каждый набор данных для всех типов. Лучший способ, которым я мог придумать, состоит в следующем:
# For the 'binom' data set create dummy variables for all types in all data sets
binom.dummy.list<-list()
for(i in 0:4){
binom.dummy.list[[i+1]]<-sapply(binom$type,function(t) ifelse(t==i,1,0))
}
# Add and merge data
binom.dummy.df<-as.data.frame(do.call("cbind",binom.dummy.list))
binom.dummy.df<-transform(binom.dummy.df,id=1:nrow(binom))
binom<-merge(binom,binom.dummy.df,by="id")
Хотя это работает, это невероятно медленно (функция слияния даже несколько раз терпела крах). Есть ли более эффективный способ сделать это? Возможно, эта функциональность является частью пакета, с которым я не знаком?
9 ответов
В R есть "подъязык" для перевода формул в матрицу проектирования, и в духе языка вы можете воспользоваться этим. Это быстро и лаконично. Пример: у вас есть кардинальный предиктор x, категориальный предиктор catVar и ответ y.
> binom <- data.frame(y=runif(1e5), x=runif(1e5), catVar=as.factor(sample(0:4,1e5,TRUE)))
> head(binom)
y x catVar
1 0.5051653 0.34888390 2
2 0.4868774 0.85005067 2
3 0.3324482 0.58467798 2
4 0.2966733 0.05510749 3
5 0.5695851 0.96237936 1
6 0.8358417 0.06367418 2
Вы просто делаете
> A <- model.matrix(y ~ x + catVar,binom)
> head(A)
(Intercept) x catVar1 catVar2 catVar3 catVar4
1 1 0.34888390 0 1 0 0
2 1 0.85005067 0 1 0 0
3 1 0.58467798 0 1 0 0
4 1 0.05510749 0 0 1 0
5 1 0.96237936 1 0 0 0
6 1 0.06367418 0 1 0 0
Готово.
Дрю, это намного быстрее и не должно вызывать сбоев.
> binom <- data.frame(data=runif(1e5),type=sample(0:4,1e5,TRUE))
> for(t in unique(binom$type)) {
+ binom[paste("type",t,sep="")] <- ifelse(binom$type==t,1,0)
+ }
> head(binom)
data type type2 type4 type1 type3 type0
1 0.11787309 2 1 0 0 0 0
2 0.11884046 4 0 1 0 0 0
3 0.92234950 4 0 1 0 0 0
4 0.44759259 1 0 0 1 0 0
5 0.01669651 2 1 0 0 0 0
6 0.33966184 3 0 0 0 1 0
Как насчет использования model.matrix()?
> binom <- data.frame(data=runif(1e5),type=sample(0:4,1e5,TRUE))
> head(binom)
data type
1 0.1412164 2
2 0.8764588 2
3 0.5559061 4
4 0.3890109 3
5 0.8725753 3
6 0.8358100 1
> inds <- model.matrix(~ factor(binom$type) - 1)
> head(inds)
factor(binom$type)0 factor(binom$type)1 factor(binom$type)2 factor(binom$type)3 factor(binom$type)4
1 0 0 1 0 0
2 0 0 1 0 0
3 0 0 0 0 1
4 0 0 0 1 0
5 0 0 0 1 0
6 0 1 0 0 0
Если вы открыты для использования пакета data.table, mltools имеет метод one_hot().
library(data.table)
library(mltools)
binom <- data.table(y=runif(1e5), x=runif(1e5), catVar=as.factor(sample(0:4,1e5,TRUE)))
one_hot(binom)
y x catVar_0 catVar_1 catVar_2 catVar_3 catVar_4
1: 0.90511891 0.83045050 0 0 1 0 0
2: 0.91375984 0.73273830 0 0 0 1 0
3: 0.01926608 0.10301409 0 0 1 0 0
4: 0.48691138 0.24428157 0 1 0 0 0
5: 0.60660396 0.09132816 0 0 1 0 0
---
99996: 0.12908356 0.26157731 0 1 0 0 0
99997: 0.96397273 0.98959000 0 1 0 0 0
99998: 0.16818414 0.37460941 1 0 0 0 0
99999: 0.72610508 0.72055867 1 0 0 0 0
100000: 0.89710998 0.24155507 0 0 0 0 1
Пакет рецептов также может быть достаточно мощным, чтобы сделать это. Пример ниже довольно подробный, но он может быть действительно чистым, как только вы добавите больше шагов предварительной обработки.
library(recipes)
binom <- data.frame(y = runif(1e5),
x = runif(1e5),
catVar = as.factor(sample(0:4, 1e5, TRUE))) # use the example from gappy
head(binom)
new_data <- recipe(y ~ ., data = binom) %>%
step_dummy(catVar) %>% # add dummy variable
prep(training = binom) %>% # apply the preprocessing steps (could be more than just adding dummy variables)
bake(newdata = binom) # apply the recipe to new data
head(new_data)
Другими примерами шагов являются step_scale, step_center, step_pca и т. Д.
мне не повезло с
model.matrix()функции, так как по какой-либо причине опускались некоторые уровни факторов. Однако мне повезло с этой простой функцией от
library(fastDummies):
Столбцы, которые преобразуются в бинарные фиктивные переменные, должны быть категориальными.
fastDummies::dummy_cols(fastDummies_example, select_columns = "numbers", remove_selected_columns = "numbers")
Вы можете использовать пакет под названием dummies
binom <- data.frame(y=runif(1e5), x=runif(1e5), catVar=as.factor(sample(0:4,1e5,TRUE)))
head(binom)
y x catVar
1 0.4143348 0.09721401 1
2 0.3140782 0.54340539 3
3 0.1262037 0.51820499 2
4 0.7159850 0.13167720 3
5 0.8203528 0.94116026 3
6 0.2169781 0.82020216 1
Решение:
library(dummies)
binom<-dummy.data.frame(binom)
head(binom)
y x catVar0 catVar1 catVar2 catVar3 catVar4
1 0.4143348 0.09721401 0 1 0 0 0
2 0.3140782 0.54340539 0 0 0 1 0
3 0.1262037 0.51820499 0 0 1 0 0
4 0.7159850 0.13167720 0 0 0 1 0
5 0.8203528 0.94116026 0 0 0 1 0
6 0.2169781 0.82020216 0 1 0 0 0
ifelse векторизован, так что если я правильно понимаю ваш код, вам это не нужно sapply, И я бы не использовал слияние - я бы использовал SQLite или PostgreSQL.
Некоторые примеры данных тоже могут помочь:-)
Пакет nnet для однослойных нейронных сетей (которые не понимают факторы) имеет команду преобразования: class.ind.