Как реализовать пользовательский Partitioner<T>
Я пытаюсь понять, как реализовать Partitioner<T>,
Мое дело:
Читаем из файла и вставляем в хранилище таблицы Azure. Мы используем задачи, чтобы ускорить процесс. Файл имеет около 10 000 000 строк.
Я попытался реализовать более элегантное решение, используя параллельное выполнение и разбиение. Я хотел бы разделить эту большую группу из 9 000 000 на группу наборов разделов и распределить их в 30-50 потоков.
Я думаю, что мне нужна динамическая реализация Partitioner<List<List<TableEntity>>>, У меня есть несколько примеров, один с StringPartitioner, но это не очень полезно для моего случая, так как мне нужен IEnumerator для List<List<TableEntity>>,
Если все это сбивает с толку, пожалуйста, дайте мне знать, чтобы я мог уточнить.
Проблема в том, как реализовать динамический Partitioner в List<List<TableEntity>>,