Массовое преобразование переменных в SAS
Я искал связанный с этим вопрос, но мне пока не повезло. Я хочу преобразовать длинный список независимых переменных для анализа регрессии. Фиктивный набор данных будет выглядеть так:
DATA TEST (DROP = i);
DO i = 1 to 4000;
VAR = i + 100000;
output;
end;
run;
PROC TRANSPOSE
DATA = TEST
OUT = TEST_T
(DROP = _NAME_)
PREFIX = X_;
ID VAR;
VAR VAR;
RUN;
DATA TEST_ARRAY;
SET TEST_T;
ARRAY X[*] X_:;
DO J = 1 TO 40;
DO I = 1 TO DIM(X);
X[I] = RANUNI(0)*I;
OUTPUT;
END;
END;
RUN;
В этом случае имена переменных X_i монотонно растут, на самом деле мои переменные на самом деле представляют собой X_number, где число представляет собой шестизначный уникальный идентификатор. Я пытался записать преобразование и возвести в квадрат все эти переменные так, чтобы у меня была новая матрица X со следующими столбцами
X_133456 X_SQ_133456 LOG_X_133456
Я попытался зациклить список всех переменных, как это
PROC CONTENTS
DATA = TEST_ARRAY
OUT = CONTENTS;
RUN;
PROC SQL NOPRINT;
SELECT NAME INTO: REG_FACTORS
SEPARATED BY " "
FROM CONTENTS;
QUIT;
DATA WANT;
SET TEST_ARRAY;
%LET index = 1;
%DO %UNTIL (%SCAN(®_factors.,&index.," ")=);
%LET factors = %SCAN(®_factors.,&index.," ");
LOG_X_&FACTORS. = LOG(X_&FACTORS.);
X_SQ_&FACTORS. = (X_&FACTORS.) ** 2;
%LET index = %EVAL(&Index + 1);
%END;
RUN;
но это взрывает мой сервер, и мне нужно найти более эффективный способ сделать это, заранее спасибо
РЕДАКТИРОВАТЬ: для автора - мне удалось решить в 13:04
%LET input_factors = X_:;
PROC SQL;
SELECT
NAME
, TRANWRD(NAME,%SCAN(&input_factors.,1,'_'),'SQ')
, TRANWRD(NAME,%SCAN(&input_factors.,1,'_'),'LOG')
INTO
:factor_list separated by " "
, :sq_factor_list separated by " "
, :log_factor_list separated by " "
FROM
contents
WHERE
VARNUM < 5
WHERE
NAME LIKE "%SCAN(&input_factors.,1,'_')_"
ORDER BY
INPUT(SCAN(NAME,-1,'_'),8.)
;
QUIT;
%PUT &factor_list.;
%PUT &sq_factor_list.;
%PUT &log_factor_list.;
3 ответа
Используйте 3 массива, один для входных значений (например, X_31415) и два для новых рассчитанных значений (лог и квадрат).
Хитрость заключается в том, чтобы динамически генерировать имена переменных для вычисляемых переменных на основе исходных имен переменных.
/ * Используйте словарную таблицу, чтобы получить / сгенерировать имена */
proc sql;
выберите имя, /* X_31415 */
tranwrd(имя,'X_','X_SQ_'), /* X_SQ_31415 */
tranwrd(имя,'X_','LOG_X_') /* LOG_X_31415 */
в:VARLIST, разделенный ' ',:SQLIST разделенный ' ',:LOGLIST разделенный ''
из словаря
где libname = 'РАБОТА'
и memname = 'MYDATA'
и назовите как 'X_%'
порядок по вводу (сканирование (имя,-1,'_'),8.) /* порядок на основе числового суффикса * /;
уволиться;Теперь вы можете назначить три массива, циклически перебирая входные значения и вычисляя квадрат и лог соответственно.
массив данных3;
установить mydata;
массив в {*} &VARLIST; /* X_1 X_17 X_31415 X_99999 */
массив sq{*} &SQLIST; /* X_SQ_1 X_SQ_17 X_SQ_31415 X_SQ_99999 */
массив lg{*} &LOGLIST; /* LOG_X_1 LOG_X_17 LOG_X_31415 LOG_X_99999 */
сделать я = 1 до затемнения (в);
sq{i} = in{i} ** 2;
lg{i} = log(in{i});
конец;
брось я;
бежать;
Я пошел с этим, однако, я думаю, что эффективность может быть обсуждена, прежде чем ответ будет одобрен
%LET TRANSFORM_Y = NO;
%LET TRANSFORM_X_SQ = YES;
%LET TRANSFORM_LOG = YES;
%MACRO TEST;
DATA TEST (DROP = i);
DO i = 1 to 40000;
VAR = i + 100000;
output;
end;
run;
PROC TRANSPOSE
DATA = TEST
OUT = TEST_T
(DROP = _NAME_)
PREFIX = X_;
ID VAR;
VAR VAR;
RUN;
DATA TEST_ARRAY;
SET TEST_T;
ARRAY X[*] X_:;
DO I = 1 TO DIM(X);
X[I] = RANUNI(0)*I;
OUTPUT;
END;
RUN;
DATA TEST_ARRAY_2;
SET TEST_ARRAY;
Y = RANUNI(0);
DROP I J;
ROW_NUM = _N_;
RUN;
PROC TRANSPOSE
DATA = TEST_ARRAY_2
(DROP = ROW_NUM)
OUT = TEST_ARRAY_T
;
RUN;
%IF &TRANSFORM_X_SQ. = YES %THEN %DO;
DATA TESTING_X_SQ
(DROP = I);
SET TEST_ARRAY_T;
ARRAY COL[*] COL:;
DO I = 1 TO DIM(COL);
COL(I) = COL(I)**2;
END;
Row_num = _N_;
RUN;
PROC TRANSPOSE
DATA = TESTING_X_SQ
OUT = X_SQ_T
(DROP = _NAME_)
PREFIX = SQ_
;
ID _NAME_
;
RUN;
DATA X_SQ_T_2;
SET X_SQ_T;
ROW_NUM = _N_;
RUN;
%END;
%IF &TRANSFORM_LOG. = YES %THEN %DO;
DATA TESTING_LOG;
SET TEST_ARRAY_T;
ARRAY COL[*] COL:;
DO I = 1 TO DIM(COL);
COL(I) = LOG(COL(I));
END;
RUN;
PROC TRANSPOSE
DATA = TESTING_LOG
OUT = LOG_T
PREFIX = LOG_
;
ID _NAME_
;
RUN;
DATA LOG_T_2;
SET LOG_T;
ROW_NUM = _N_;
RUN;
%END;
PROC SQL;
CREATE TABLE FULL_DATA AS
SELECT
f.*
%IF &TRANSFORM_X_SQ. = YES %THEN %DO;
, x.*
%END;
%IF &TRANSFORM_LOG. = YES %THEN %DO;
, l.*
%END;
FROM
TEST_ARRAY_2 f
%IF &TRANSFORM_X_SQ. = YES %THEN %DO;
LEFT JOIN
X_SQ_T_2 x ON f.row_num = x.row_num
%END;
%IF &TRANSFORM_LOG. = YES %THEN %DO;
LEFT JOIN
LOG_T_2 l ON l.row_num = x.row_num
%END;
;
QUIT;
%MEND;
%TEST;
При наличии большого количества переменных вам может понадобиться использовать функции ввода-вывода SAS File для перебора переменных. В этом примере создается набор данных с 55 000 переменных отклика и вычисляется их квадрат и логарифмические преобразования.
%macro make_have(nvar=10);
%local dsid suffix;
data cols;
do index = 100000 to 999999;
if ranuni(123) < &nvar / (1e6-1e5) then output;
end;
run;
data have;
do id = 1 to 10;
sex = ceil(2*ranuni(123));
age = 17 + ceil(52*ranuni(123));
weight = 150 + ceil(100*ranuni(123));
%let dsid = %sysfunc(open (cols));
%do %while (0 = %sysfunc(fetch(&dsid)));
%let suffix = %sysfunc(getvarn(&dsid,1));
x_&suffix = ranuni(123);
%end;
%let dsid = %sysfunc(close(&dsid));
output;
end;
run;
%mend;
options nomprint;
%make_have(nvar=55000);
%macro make_transforms(data=, vars=, new=, function=);
%local dsid i nvar varname;
%let dsid = %sysfunc(open (&data));
%do i = 1 %to %sysfunc(attrn(&dsid,nvar));
%let varname = %sysfunc(varname(&dsid,&i));
%if %substr(&varname,1,%length(&vars)) = &vars %then %do;
&new.%substr(&varname,%length(&vars)+1) = %sysfunc(tranwrd(&function,#,&varname));
%end;
%end;
%let dsid = %sysfunc(close(&dsid));
%mend;
data want;
set have;
%let t0 = %sysfunc(datetime());
%make_transforms(data=have, vars=x_, new=x_sq_, function=#**2)
%make_transforms(data=have, vars=x_, new=x_log_, function=log(#))
%put NOTE: codegen elapsed: %sysevalf(%sysfunc(datetime())-&t0);
run;