Описание тега ray-tune

Вопросы с тегом
1 ответ

Как я могу полностью синхронизировать `local_dir` (`~/ray_results`) с головным узлом?

Я создаю пользовательские файлы результатов в своих заданиях и хочу синхронизировать их с рабочих узлов на головные узлы (чтобы позже синхронизировать их с моим локальным компьютером). Я пытался записать их все вlocal_dir например ~./ray_results но,…
08 апр '20 в 16:01
3 ответа

Измените Logdir обучения Ray RLlib вместо ~/ray_results

Я использую Ray и RLlib для обучения агентов RL в системе Ubuntu. Tensorboard используется для отслеживания прогресса обучения, указывая на него~/ray_resultsгде хранятся все файлы журнала для всех запусков. Ray Tune не используется. Например, при за…
07 июн '20 в 08:34
1 ответ

Лучшая модель контрольно-пропускного пункта для испытания в Ray Tune

Итак, я просто запустил tune поэкспериментируйте и получили следующий результат: +--------------------+------------+-------+-------------+----------------+--------+------------+ | Trial name | status | loc | lr | weight_decay | loss | accuracy | |--…
24 авг '20 в 21:20
0 ответов

Можно ли использовать поиск по сетке через API класса Searcher?

Я хотел бы иметь внешнее определение алгоритма поиска. Как это возможно сделать: search_algo = BayesOptSearch(...) tune.run(..., search_alg=search_algo) Я хочу сделать: search_algo = GridSearch({ param1: [1, 2, 8, 20], param2: ['low', 'medium', 'hig…
26 авг '20 в 16:31
1 ответ

Как мне сделать ray.tune.run воспроизводимым?

Я использую обучаемый API на основе классов Tune. См. Пример кода: from ray import tune import numpy as np np.random.seed(42) # first run tune.run(tune.Trainable, ...) # second run, expecting same result np.random.seed(42) tune.run(tune.Trainable, .…
20 авг '20 в 08:34
1 ответ

Добавление дополнительных показателей в таблицу состояния Ray Tune (Python, PyTorch)

При беге tune.run() по набору конфигураций для поиска, можно ли добавить дополнительные столбцы метрик (т.е. a, bи т.д.) в распечатываемую таблицу состояний? tune.track.log(a=metric1, b=metric2) даст следующую таблицу без столбцов для показателей a …
16 апр '20 в 00:28
0 ответов

Ray Tune случайный поиск неограниченно много образцов

Пример кода, иллюстрирующий проблему: from ray import tune def objective(step, alpha, beta): return (0.1 + alpha * step / 100)**(-1) + beta * 0.1 def training_function(config): # Hyperparameters alpha, beta = config["alpha"], config["…
13 авг '20 в 15:52
0 ответов

Можно ли комбинировать ASHA с байесовской оптимизацией?

В документации ray tune об этом не упоминается, но, насколько я понимаю, комбинирование байесовской оптимизации с алгоритмом SHA требует создания определенного алгоритма, как в BOHB. Не говоря уже об этом, это позволяет мне думать, что библиотека до…
20 июл '20 в 16:50
1 ответ

Использование Ray-Tune с RandomForestClassifier sklearn

Собирая воедино различные примеры базы и документации, мне удалось придумать следующее: X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) def objective(config, reporter): for i in range(config['iterations']): model = RandomFor…
12 июл '20 в 06:49
0 ответов

Эксперимент по настройке лучей, запускающий другой эксперимент по настройке лучей

Можно ли провести эксперимент по настройке лучей, если этот эксперимент является еще одним экспериментом по настройке лучей? В основном я хотел бы использовать настройку для выбора некоторой модели (типа NAS) на основе некоторого гиперпараметра моде…
29 июл '20 в 12:39
1 ответ

тип 'NoneType' не повторяется ошибка при обучении модели pytorch с настройками лучей Обучаемый API

Я написал простой скрипт pytorch для обучения MNIST, и он отлично работал. Я переделал свой скрипт в класс Trainable: import numpy as np import torch import torch.optim as optim import torch.nn as nn from torchvision import datasets, transforms from…
25 авг '20 в 18:37
3 ответа

Сохраните награды за эпизод в ray.tune

Я обучаю несколько агентов алгоритмам PPO в многоагентной среде с использованием rllib/ray. Я использую ray.tune() команда для обучения агентов, а затем загрузка данных обучения из ~/ray_results. Эти данные содержат действия, выбранные агентами в ка…
14 ноя '20 в 15:15
0 ответов

Оптимизация гиперпараметров в pytorch (в настоящее время с sklearn GridSearchCV)

Я использую этот ( ссылка) учебник по pytorch и хочу добавить в него функцию поиска по сетке,sklearn.model_selection.GridSearchCV (ссылка), чтобы оптимизировать гиперпараметры. Мне сложно понять, какими должны быть X и Y в gs.fit(x,y); согласно доку…
24 окт '20 в 13:45
0 ответов

Последовательная настройка луча гиперпараметров

Я новичок в настройке лучей, и до сих пор я использовал ASHAScheduler для настройки гиперпараметров. Она работала хорошо, пока я использовал небольшие сети, но теперь, когда я пытаюсь настроить более крупные сети, программе не хватает памяти, так ка…
01 дек '20 в 12:26
0 ответов

PB2 Ray.Tune постоянно дает сбой для одного и того же актера в одной и той же точке обучения, потому что код Tune возвращает ValueError

Я начал несколько испытаний с использованием Ray.tune PB2. Они используют 8 актеров и возмущают каждые 20 шагов. У актеров 0-6 нет никаких проблем, но затем у актера 7 во второй 20-шаговой эпохе постоянно возникает ошибка. В терминале я получаю след…
10 фев '21 в 13:30
1 ответ

TuneError: («Испытания не завершены»)

Я написал программу с использованием keras, которая обнаруживает настоящие тексты от подделок (я использовал 5000 обучающих данных и 10000 тестовых данных), я использовал Transformer и модель distilbert-base-uncased для обнаружения. Теперь я решил н…
14 фев '21 в 17:11
1 ответ

Есть ли в Ray Tune механизм замены initial_workers (cluster.yaml)?

Я кратко опишу свой вариант использования: предполагая, что я хочу развернуть кластер с 10 рабочими на AWS: в прошлом я всегда использовал initial_workers: 10, min_workers: 0, max_workers: 10 опции ( cluster.yaml), чтобы сначала развернуть кластер н…
25 мар '21 в 15:00
1 ответ

Что означает output_dir в transformers.TrainingArguments?

В документации сайта huggingface написано: «Выходной каталог, в котором будут записаны прогнозы модели и контрольные точки». Я не совсем понимаю, что это значит. Нужно ли мне создавать для этого какой-нибудь файл?
19 апр '21 в 09:49
1 ответ

Лучшая конфигурация после поиска гиперпараметров с помощью Ray Tune

Я только что запустил свой первый Ray Tune. Я получил хороший вывод на терминал и все это, но теперь мне интересно: какая конфигурация дала мне лучший результат? Я вижу, что существует множество файлов результатов, но есть ли простой способ получить…
10 май '21 в 00:08
3 ответа

Raytune выдает ошибку: «модуль 'pickle' не имеет атрибута 'PickleBuffer'» при попытке поиска гиперпараметров.

Я более или менее следую [этому примеру][1], чтобы интегрировать библиотеку гиперпараметров настройки лучей с библиотекой преобразователей huggingface, используя мой собственный набор данных. Вот мой сценарий: import ray from ray import tune from ra…
02 июн '21 в 05:18