Оптимизация гиперпараметров в pytorch (в настоящее время с sklearn GridSearchCV)
Я использую этот ( ссылка) учебник по pytorch и хочу добавить в него функцию поиска по сетке,sklearn.model_selection.GridSearchCV (ссылка), чтобы оптимизировать гиперпараметры. Мне сложно понять, какими должны быть X и Y в gs.fit(x,y); согласно документации ( ссылка) x и y должны иметь следующую структуру, но мне сложно понять, как их убрать из кода. Выходные данные класса PennFudanDataset возвращают img и target в форме, которая не соответствует требованиям X, Y I. Находятся ли n_samples, n_features в следующем блоке кода или в блоке учебника, относящемся к модели?
fit(X, y=None, *, groups=None, **fit_params)[source]
Run fit with all sets of parameters.
Параметры
Xarray-like of shape (n_samples, n_features)
Training vector, where n_samples is the number of samples and n_features is the number of features.
yarray-like of shape (n_samples, n_output) or (n_samples,), default=None
Target relative to X for classification or regression; None for unsupervised learning.
Есть ли что-то еще, что мы могли бы использовать вместо этого, что легче реализовать для этого конкретного урока? Я читал о Ray Tune( ссылка), optuna( ссылка) и т.д., но они кажутся более сложными, чем это. В настоящее время я также изучаю scipy.optimize.brute( ссылка), который кажется более простым.
PennFundanDataset класс:
import os
import numpy as np
import torch
from PIL import Image
class PennFudanDataset(object):
def __init__(self, root, transforms):
self.root = root
self.transforms = transforms
# load all image files, sorting them to
# ensure that they are aligned
self.imgs = list(sorted(os.listdir(os.path.join(root, "PNGImages"))))
self.masks = list(sorted(os.listdir(os.path.join(root, "PedMasks"))))
def __getitem__(self, idx):
# load images ad masks
img_path = os.path.join(self.root, "PNGImages", self.imgs[idx])
mask_path = os.path.join(self.root, "PedMasks", self.masks[idx])
img = Image.open(img_path).convert("RGB")
# note that we haven't converted the mask to RGB,
# because each color corresponds to a different instance
# with 0 being background
mask = Image.open(mask_path)
# convert the PIL Image into a numpy array
mask = np.array(mask)
# instances are encoded as different colors
obj_ids = np.unique(mask)
# first id is the background, so remove it
obj_ids = obj_ids[1:]
# split the color-encoded mask into a set
# of binary masks
masks = mask == obj_ids[:, None, None]
# get bounding box coordinates for each mask
num_objs = len(obj_ids)
boxes = []
for i in range(num_objs):
pos = np.where(masks[i])
xmin = np.min(pos[1])
xmax = np.max(pos[1])
ymin = np.min(pos[0])
ymax = np.max(pos[0])
boxes.append([xmin, ymin, xmax, ymax])
# convert everything into a torch.Tensor
boxes = torch.as_tensor(boxes, dtype=torch.float32)
# there is only one class
labels = torch.ones((num_objs,), dtype=torch.int64)
masks = torch.as_tensor(masks, dtype=torch.uint8)
image_id = torch.tensor([idx])
area = (boxes[:, 3] - boxes[:, 1]) * (boxes[:, 2] - boxes[:, 0])
# suppose all instances are not crowd
iscrowd = torch.zeros((num_objs,), dtype=torch.int64)
target = {}
target["boxes"] = boxes
target["labels"] = labels
target["masks"] = masks
target["image_id"] = image_id
target["area"] = area
target["iscrowd"] = iscrowd
if self.transforms is not None:
img, target = self.transforms(img, target)
return img, target
def __len__(self):
return len(self.imgs)