Как измерить время выполнения GPU с помощью Profiling+openCL+Sycl+DPCPP

Question

Прочитал эту ссылку https://github.com/intel/pti-gpu

и я попытался использовать отслеживание активности устройства для OpenCL(TM), но я сбит с толку и не знаю, как мне измерить время на ускорителях с помощью документации по активности устройства. для измерения производительности CPU я использовал chrono, но мне интересно использовать профилирование для измерения производительности CPU и GPU на различных устройствах. моя программа:

          #include <CL/sycl.hpp>
#include <iostream>
#include <tbb/tbb.h>
#include <tbb/parallel_for.h>
#include <vector>
#include <string>
#include <queue>
#include<tbb/blocked_range.h>
#include <tbb/global_control.h>
#include <chrono>


using namespace tbb;

template<class Tin, class Tout, class Function>
class Map {
private:
    Function fun;
public:
    Map() {}
    Map(Function f):fun(f) {}


    std::vector<Tout> operator()(bool use_tbb, std::vector<Tin>& v) {
        std::vector<Tout> r(v.size());
        if(use_tbb){
            // Start measuring time
            auto begin = std::chrono::high_resolution_clock::now();
            tbb::parallel_for(tbb::blocked_range<Tin>(0, v.size()),
                        [&](tbb::blocked_range<Tin> t) {
                    for (int index = t.begin(); index < t.end(); ++index){
                        r[index] = fun(v[index]);
                    }
            });
            // Stop measuring time and calculate the elapsed time
            auto end = std::chrono::high_resolution_clock::now();
            auto elapsed = std::chrono::duration_cast<std::chrono::nanoseconds>(end - begin);
            printf("Time measured: %.3f seconds.\n", elapsed.count() * 1e-9);
            return r;
         } else {
                sycl::queue gpuQueue{sycl::gpu_selector()};
                sycl::range<1> n_item{v.size()};
                sycl::buffer<Tin, 1> in_buffer(&v[0], n_item);
                sycl::buffer<Tout, 1> out_buffer(&r[0], n_item);
                gpuQueue.submit([&](sycl::handler& h){
                    //local copy of fun
                    auto f = fun;
                    sycl::accessor in_accessor(in_buffer, h, sycl::read_only);
                    sycl::accessor out_accessor(out_buffer, h, sycl::write_only);
                    h.parallel_for(n_item, [=](sycl::id<1> index) {
                        out_accessor[index] = f(in_accessor[index]);
                    });
                }).wait();
         }
                return r;
    }
};

template<class Tin, class Tout, class Function>
Map<Tin, Tout, Function> make_map(Function f) { return Map<Tin, Tout, Function>(f);}


typedef int(*func)(int x);
//define different functions
auto function = [](int x){ return x; };
auto functionTimesTwo = [](int x){ return (x*2); };
auto functionDivideByTwo = [](int x){ return (x/2); };
auto lambdaFunction = [](int x){return (++x);};


int main(int argc, char *argv[]) {

    std::vector<int> v = {1,2,3,4,5,6,7,8,9};
    //auto f = [](int x){return (++x);};
    //Array of functions
    func functions[] =
        {
            function,
            functionTimesTwo,
            functionDivideByTwo,
            lambdaFunction
        };

    for(int i = 0; i< sizeof(functions); i++){
        auto m1 = make_map<int, int>(functions[i]);

    //auto m1 = make_map<int, int>(f);
    std::vector<int> r = m1(true, v);
    //print the result
    for(auto &e:r) {
        std::cout << e << " ";
        }
    }


  return 0;
}

Answer 1

Во-первых, ядро ​​SYCL не поддерживает указатели функций. Таким образом, вы можете изменить код соответствующим образом.

Один из способов достижения профилирования в графическом процессоре - выполнить следующие шаги: 1. включить режим профилирования для очереди команд целевого устройства 2. ввести событие для активности целевого устройства 3. настроить обратный вызов, чтобы получать уведомление о завершении действия 4. Прочтите данные профилирования внутри обратного вызова

По сути, вам нужно использовать CL_PROFILING_COMMAND_START и CL_PROFILING_COMMAND_END (команда, определяемая началом и окончанием выполнения события на устройстве) внутри обратного вызова.

Вы можете найти подробные инструкции здесь https://github.com/intel/pti-gpu/blob/master/chapters/device_activity_tracing/OpenCL.md

Я бы также посоветовал вам проверить образцы для pti-gpu с помощью функции отслеживания активности устройства. Проверьте URL-адрес того же https://github.com/intel/pti-gpu/tree/master/samples