Описание тега checkpointing

Вопросы с тегом
1 ответ

Контрольно-пропускной пункт в декларативном трубопроводе Jenkins

Я смотрю на документацию Cloudbees, которая гласит: Правильный подход заключается в том, чтобы всегда держать шаг контрольной точки вне любого блока узла, не связанного ни с агентом, ни с рабочей областью. Пример примера приведен для скриптового кон…
08 авг '18 в 18:44
1 ответ

Валидация Сплит и Checkpoint Лучшая модель в Керасе

Давайте использовать разделение проверки 0,3 при подгонке Sequential модель. Что будет использовано для валидации, первых или последних 30% образцов? Во-вторых, при проверке лучшей модели сохраняется лучший вес модели в формате файла.hdf5. Означает …
03 янв '18 в 20:27
1 ответ

Spark Checkpoint

Я создал RDD следующим образом: scala> val x = List(1,2,3,4) x: List[Int] = List(1, 2, 3, 4) scala> val y = sc.parallelize(ls,2) y: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[10] at parallelize at <console>:29 scala> val z …
28 авг '16 в 09:59
2 ответа

Нужна ли контрольная точка при потоковой передаче искры

Я заметил, что у примеров потоковой передачи искомого кода также есть код для контрольной точки. У меня вопрос, насколько важна эта контрольная точка. Если оно существует для отказоустойчивости, как часто возникают сбои в таких потоковых приложениях?
20 сен '16 в 16:59
1 ответ

h2o ошибка изменения параметра контрольной точки - но ни один параметр не изменился??

Я пытаюсь экспортировать веса и смещения "модели", в которой я изначально не обучал модель с "export_weights_and_biases = TRUE" Поэтому я хотел бы попытаться проверить контрольную точку модели и попытаться экспортировать_свободы_и_данных = ИСТИНА в …
03 июн '17 в 07:33
1 ответ

Проблемы с надежностью Checkpointing/WAL в Spark Streaming 1.6.0

Описание У нас есть приложение Spark Streaming 1.5.2 в Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегации и записывает результаты в различные префиксы S3. Текущий интервал между партиями составляе…
19 янв '16 в 14:15
0 ответов

Настройка политики истечения срока действия объекта AWS S3 для каталога контрольных точек Apache Spark Streaming

У кого-нибудь есть опыт работы с политиками истечения срока действия в корзинах S3, в которых размещаются каталоги контрольных точек спарк-потоков? Я настроил приложение, используя spark streaming + kafka, и я хочу использовать корзину S3 с 24-часов…
29 сен '16 в 21:21
1 ответ

Как установить setCheckpoint в pyspark

Я не знаю много искры. В верхней части кода у меня есть from pysaprk.sql import SparkSession import pyspark.sql.function as f spark = SparkSession.bulder.appName(‘abc’).getOrCreate() H = sqlContext.read.parquet(‘path to hdfs file’) H имеет около 30 …
17 фев '19 в 04:42
0 ответов

Техника проверки отказоустойчивости контрольной точки периодически регистрирует состояние системы после определенного периода времени? или после определенного лимита обработки?

Проверьте правильность отказоустойчивой техники, периодически регистрируйте состояние системы после определенного временного ограничения? или после определенного лимита обработки? Если он хранится после определенного срока, то какой лимит подходит д…
05 апр '18 в 04:47
1 ответ

Набор данных контрольных точек Spark Scala, показывающий.isCheckpointed = false после действия, но каталоги записаны

Кажется, есть несколько сообщений по этому вопросу, но ни одна из них не отвечает тому, что я понимаю. Следующий код выполняется на DataBricks: spark.sparkContext.setCheckpointDir("/dbfs/FileStore/checkpoint/cp1/loc7") val checkpointDir = spark.spar…
02 янв '19 в 11:08
1 ответ

Ошибка ImageProjectiveTransformV2 при загрузке мета-графа с помощью import_meta_graph

Я пытаюсь загрузить мета-график обученных сетей "name.ckpt-1.meta", используя tf.train.import_meta_graph("./name.ckpt-1.meta")но появляется следующая ошибка: Traceback (most recent call last): File "/home/rapsodo/.local/lib/python3.6/site-packages/I…
21 ноя '18 в 09:57
0 ответов

Сбой проверки HDFS в Spark Streaming

После развертывания задания потоковой передачи Spark на отдельном кластере Spark у меня возникли некоторые проблемы с контрольными точками. Журнал консоли выдает подсказку: WARN ReliableCheckpointRDD: Error writing partitioner org.apache.spark.HashP…
23 авг '17 в 17:25
1 ответ

Контрольная точка S3 со структурированной потоковой передачей

Я попробовал предложения, приведенные в Apache Spark (Структурированная потоковая передача): поддержка S3 Checkpoint Я все еще сталкиваюсь с этой проблемой. Ниже приведена ошибка, которую я получаю 17/07/06 17:04:56 WARN FileSystem: "s3n" is a depre…
07 июл '17 в 14:30
1 ответ

Как сохранить состояние Queryable в Flink?

Я использую FLink v.1.4.0, Я использую QueryableStateStream который я в некотором роде, а затем sink это создать Queryable StateНапример: stream.keyBy(0).asQueryableState("query-name"); Это все хорошо, пока мой Flink работа запущена Как только работ…
24 янв '18 в 11:35
1 ответ

Докер приостановить и возобновить использование Criu

Я строю докер из этой версии этого исходного кода: https://github.com/boucher/docker/tree/cr-combined после клонирования кода: git clone -b cr-combined --single-branch https://github.com/boucher/docker.git CD Docker #make build #make binary Затем ск…
14 дек '15 в 23:41
1 ответ

Как установить количество документов, обрабатываемых в пакете?

С Spark 2.2.0 контрольные точки работают немного иначе, чем версии. Существует папка коммитов, которая создается и после завершения каждого пакета файл записывается в папку. Я сталкиваюсь со сценарием, в котором у меня есть около 10 тыс. Записей, и …
20 июл '17 в 19:29
2 ответа

Где хранятся контрольные точки по умолчанию в Apache Flink?

Я новичок в Apache Flink, и я изучал примеры Apache Flink. Я обнаружил, что в случае сбоя Flink имеет возможность восстановить потоковую обработку с контрольной точки. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironme…
13 май '18 в 15:46
0 ответов

Контрольные точки TensorFlow для онлайн-обучения

Я пытаюсь создать адаптируемую систему распознавания речи на основе Mozilla DeepSpeech (которая является реализацией TensorFlow статьи DeepSpeech) Идея в том, что Мы предварительно подготовим модель под определенный голос. Затем сохраните модель + с…
20 фев '18 в 13:26
1 ответ

Сохраните и загрузите контрольный пункт pytorch

Я делаю модель и сохраняю конфигурацию как: def checkpoint(state, ep, filename='./Risultati/checkpoint.pth'): if ep == (n_epoch-1): print('Saving state...') torch.save(state,filename) checkpoint({'state_dict':rnn.state_dict()},ep) и тогда я хочу заг…
29 ноя '18 в 11:35
1 ответ

Spark Streaming с Kafka: при восстановлении контрольной точки формы все данные обрабатываются только в одной микропакете

Я запускаю приложение Spark Streaming, которое читает данные из Kafka. Я активировал контрольные точки для восстановления работы в случае сбоя. Проблема заключается в том, что, если приложение перестает работать, при перезапуске оно пытается выполни…
22 июн '16 в 10:56