Как нормализовать массив в NumPy?
Я хотел бы иметь норму одного массива NumPy. Более конкретно, я ищу эквивалентную версию этой функции
def normalize(v):
norm = np.linalg.norm(v)
if norm == 0:
return v
return v / norm
Есть ли что-то подобное в skearn или же numpy?
Эта функция работает в ситуации, когда v это вектор 0.
15 ответов
Если вы используете Scikit-Learn, вы можете использовать sklearn.preprocessing.normalize:
import numpy as np
from sklearn.preprocessing import normalize
x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True
Я согласился бы, что было бы хорошо, если бы такая функция была частью включенных батарей. Но это не так, насколько я знаю. Вот версия для произвольных осей, дающая оптимальную производительность.
import numpy as np
def normalized(a, axis=-1, order=2):
l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
l2[l2==0] = 1
return a / np.expand_dims(l2, axis)
A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))
print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))
Это может также работать для вас
import numpy as np
normalized_v = v / np.sqrt((np.sum(v**2)))
но не удается, когда v имеет длину 0.
Вы можете указать ord для получения нормы L1. Чтобы избежать деления на ноль, я использую eps, но, возможно, это не очень хорошо.
def normalize(v):
norm=np.linalg.norm(v, ord=1)
if norm==0:
norm=np.finfo(v.dtype).eps
return v/norm
Если вам не нужна предельная точность, ваша функция может быть уменьшена до:
v_norm = v / (np.linalg.norm(v) + 1e-16)
Если у вас есть многомерные данные и вы хотите, чтобы каждая ось нормализовалась под себя:
def normalize(d):
# d is a (n x dimension) np array
d -= np.min(d, axis=0)
d /= np.ptp(d, axis=0)
return d
Использует функцию numpys от пика до пика.
Также есть функция unit_vector() нормализовать векторы в популярном модуле преобразований Кристофа Гольке:
import transformations as trafo
import numpy as np
data = np.array([[1.0, 1.0, 0.0],
[1.0, 1.0, 1.0],
[1.0, 2.0, 3.0]])
print(trafo.unit_vector(data, axis=1))
Вы упомянули Sci-Kit Learn, поэтому я хочу поделиться другим решением.
научный комплект учить MinMaxScaler
В Sci-Kit Learn есть API под названием MinMaxScaler который может настроить диапазон значений, как вам нравится.
Это также касается вопросов NaN для нас.
NaN обрабатываются как пропущенные значения: игнорируются при подгонке и сохраняются при преобразовании.... см. ссылку [1]
Пример кода
Код прост, просто введите
# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
Если вы хотите нормализовать n векторов пространственных объектов, хранящихся в трехмерном тензоре, вы также можете использовать PyTorch:
import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize
vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()
Если вы работаете с многомерным массивом, возможно следующее быстрое решение.
Скажем, у нас есть 2D-массив, который мы хотим нормализовать по последней оси, а некоторые строки имеют нулевую норму.
import numpy as np
arr = np.array([
[1, 2, 3],
[0, 0, 0],
[5, 6, 7]
], dtype=np.float)
lengths = np.linalg.norm(arr, axis=-1)
print(lengths) # [ 3.74165739 0. 10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0. 0. 0. ]
# [0.47673129 0.57207755 0.66742381]]
Если вы работаете с трехмерными векторами, вы можете сделать это кратко, используя toolbelt vg. Это легкий слой поверх numpy и он поддерживает отдельные значения и сложенные векторы.
import numpy as np
import vg
x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True
Я создал библиотеку при моем последнем запуске, где она была мотивирована такими способами: простыми идеями, которые слишком многословны в NumPy.
Без sklearn и используя только numpy. Просто определите функцию:.
Предполагая, что строки являются переменными, а столбцы - выборками (axis= 1):
import numpy as np
# Example array
X = np.array([[1,2,3],[4,5,6]])
def stdmtx(X):
means = X.mean(axis =1)
stds = X.std(axis= 1, ddof=1)
X= X - means[:, np.newaxis]
X= X / stds[:, np.newaxis]
return np.nan_to_num(X)
выход:
X
array([[1, 2, 3],
[4, 5, 6]])
stdmtx(X)
array([[-1., 0., 1.],
[-1., 0., 1.]])
Для двумерного массива вы можете использовать следующий однострочный код для нормализации строк. Чтобы нормализовать столбцы, просто установите
axis=0.
a / np.linalg.norm(a, axis=1, keepdims=True)
Если вы хотите, чтобы все значения в [0; 1]
for 1d-arrayтогда просто используйте
(a - a.min(axis=0)) / (a.max(axis=0) - a.min(axis=0))
Где
aтвой .
Пример:
>>> a = np.array([0, 1, 2, 4, 5, 2])
>>> (a - a.min(axis=0)) / (a.max(axis=0) - a.min(axis=0))
array([0. , 0.2, 0.4, 0.8, 1. , 0.4])
Примечание к методу.Для сохранения пропорций между значениями есть ограничение:
1d-arrayдолжен иметь хотя бы один и состоит из
0а также
positiveчисла.
Простое скалярное произведение сделает эту работу. Нет необходимости в каком-либо дополнительном пакете.
x = x/np.sqrt(x.dot(x))
Кстати, если норма
xравен нулю, он по своей сути является нулевым вектором и не может быть преобразован в единичный вектор (который имеет норму 1). Если вы хотите поймать случай
np.array([0,0,...0]), затем используйте
norm = np.sqrt(x.dot(x))
x = x/norm if norm != 0 else x