Потеря mse в геометрической форме pytorch дает nan для функции потерь
Я решаю проблему регрессии, используя GCN с геометрическим pytorch. И я получаю потерю nan при использовании потери mse. Однако выходной тензор не является наном. Вот моя модель-
import torch
import torch.nn.functional as F
from torch_geometric.nn import GCNConv
class GCN(torch.nn.Module):
def __init__(self):
super().__init__()
self.conv1 = GCNConv(data.num_node_features, 100)
self.conv2 = GCNConv(100, 16)
self.conv3 = GCNConv(16, data.num_node_features)
self.linear1 = torch.nn.Linear(104,1)
def forward(self, data):
x, edge_index = data.x, data.edge_index
h = self.conv1(x, edge_index)
h = F.relu(h)
h = F.dropout(h, training=self.training)
h = self.conv2(h, edge_index)
h = self.conv3(h, edge_index)
h = self.linear1(h)
h = h.tanh()
return h
Вот цикл для вызова модели и расчета убытка.
import torch.nn as nn
device = torch.device('cpu')
model = GCN().to(device)
model = model.double()
data = data.to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
model.train()
for epoch in range(3):
optimizer.zero_grad()
out = model(data)
loss = F.mse_loss(out.squeeze(), data.y.squeeze())
loss.backward()
optimizer.step()
print(f'Epoch: {epoch}, Loss: {loss}')
Я также пытался не использовать tanh и использовать softmax в прямом проходе. тензор не равен нулю. Я распечатал и проверил также длину обоихdata.y
иout
такой же.
Поскольку я новичок в геометрии GCN и pytorch, я не могу решить эту проблему.