Использование cudaMalloc для выделения матрицы

Question

Я использую cudaMalloc и cudaMemcpy, чтобы выделить матрицу и скопировать в нее массивы векторов, например:

float **pa;    
cudaMalloc((void***)&pa,  N*sizeof(float*)); //this seems to be ok
for(i=0; i<N; i++) {
    cudaMalloc((void**) &(pa[i]), N*sizeof(float)); //this gives seg fault
    cudaMemcpy (pa[i], A[i], N*sizeof(float), cudaMemcpyHostToDevice); // also i am not sure about this
}

Что не так с моими инструкциями? заранее спасибо

PS A[i] - это вектор

---

Теперь я пытаюсь скопировать матрицу с устройства на матрицу с хоста:

Предположим, у меня есть ** pc в устройстве, а ** pgpu в хосте:

cudaMemcpy (pgpu, pc, N*sizeof(float*), cudaMemcpyDeviceToHost);
for (i=0; i<N; i++)
    cudaMemcpy(pgpu[i], pc[i], N*sizeof(float), cudaMemcpyDeviceToHost);

= это неправильно....

Answer 1

pa находится в памяти устройства, так &(pa[i]) не делает то, что вы ожидаете. Это будет работать

float **pa;
float **pah = (float **)malloc(pah, N * sizeof(float *));    
cudaMalloc((void***)&pa,  N*sizeof(float*));
for(i=0; i<N; i++) {
    cudaMalloc((void**) &(pah[i]), N*sizeof(float));
    cudaMemcpy (pah[i], A[i], N*sizeof(float), cudaMemcpyHostToDevice);
}
cudaMemcpy (pa, pah, N*sizeof(float *), cudaMemcpyHostToDevice);

то есть. создайте массив указателей в памяти хоста, а затем скопируйте его на устройство. Я не уверен, что вы надеетесь прочитать с A , но я подозреваю, что внутренний cudaMemcpy вероятно, не делает то, что вы хотите, как написано.

Имейте в виду, что с точки зрения производительности массивы указателей не очень хорошая идея для графического процессора.

Answer 2

Какова ваша конечная цель этого кода? Как уже упоминалось выше, вероятно, в ваших интересах было бы объединить pa в одномерный массив для использования на GPU. Что-то вроде:

float *pa;
cudaMalloc((void**)&pa, N*N*sizeof(float));

К сожалению, вам придется настроить A[i], чтобы скопировать память таким образом.