Numpy разделить куб на кубики

Question

Есть функция np.split() который может разбить массив вдоль 1 оси. Мне было интересно, если есть многоосная версия, где вы можете разбить вдоль осей (0,1,2), например.

Answer 1

Предположим, cube имеет форму (W, H, D) и вы хотите разбить его на N маленькие кубики формы (w, h, d), Поскольку массивы NumPy имеют оси фиксированной длины, w должен равномерно разделить Wи аналогично для h а также d,

Тогда есть способ изменить форму куба (W, H, D) в новый массив формы (N, w, h, d),

Например, если arr = np.arange(4*4*4).reshape(4,4,4) (так (W,H,D) = (4,4,4)) и мы хотим разбить его на кубики формы (2,2,2)тогда мы могли бы использовать

In [283]: arr.reshape(2,2,2,2,2,2).transpose(0,2,4,1,3,5).reshape(-1,2,2,2)
Out[283]: 
array([[[[ 0,  1],
         [ 4,  5]],

        [[16, 17],
         [20, 21]]],

...
       [[[42, 43],
         [46, 47]],

        [[58, 59],
         [62, 63]]]])

Идея здесь состоит в том, чтобы добавить дополнительные оси к массиву, которые будут действовать как маркеры места:

 number of repeats act as placemarkers
 o---o---o
 |   |   |
 v   v   v
(2,2,2,2,2,2)
   ^   ^   ^
   |   |   |
   o---o---o
   newshape

Затем мы можем изменить порядок осей (используя transpose) так, чтобы число повторений было первым, а новостная форма - в конце:

arr.reshape(2,2,2,2,2,2).transpose(0,2,4,1,3,5)

И, наконец, позвоните reshape(-1, w, h, d) раздавить все оси меток в одну ось. Это производит массив формы (N, w, h, d) где N количество маленьких кубиков

---

Идея, использованная выше, является обобщением этой идеи на 3 измерения. Это может быть далее обобщено для ndarrays любого измерения:

import numpy as np
def cubify(arr, newshape):
    oldshape = np.array(arr.shape)
    repeats = (oldshape / newshape).astype(int)
    tmpshape = np.column_stack([repeats, newshape]).ravel()
    order = np.arange(len(tmpshape))
    order = np.concatenate([order[::2], order[1::2]])
    # newshape must divide oldshape evenly or else ValueError will be raised
    return arr.reshape(tmpshape).transpose(order).reshape(-1, *newshape)

print(cubify(np.arange(4*6*16).reshape(4,6,16), (2,3,4)).shape)
print(cubify(np.arange(8*8*8*8).reshape(8,8,8,8), (2,2,2,2)).shape)

дает новые массивы форм

(16, 2, 3, 4)
(256, 2, 2, 2, 2)

---

Чтобы "разрубить" массивы:

def uncubify(arr, oldshape):
    N, newshape = arr.shape[0], arr.shape[1:]
    oldshape = np.array(oldshape)    
    repeats = (oldshape / newshape).astype(int)
    tmpshape = np.concatenate([repeats, newshape])
    order = np.arange(len(tmpshape)).reshape(2, -1).ravel(order='F')
    return arr.reshape(tmpshape).transpose(order).reshape(oldshape)

---

Вот некоторый тестовый код, чтобы проверить, что cubify а также uncubify обратные.

import numpy as np
def cubify(arr, newshape):
    oldshape = np.array(arr.shape)
    repeats = (oldshape / newshape).astype(int)
    tmpshape = np.column_stack([repeats, newshape]).ravel()
    order = np.arange(len(tmpshape))
    order = np.concatenate([order[::2], order[1::2]])
    # newshape must divide oldshape evenly or else ValueError will be raised
    return arr.reshape(tmpshape).transpose(order).reshape(-1, *newshape)

def uncubify(arr, oldshape):
    N, newshape = arr.shape[0], arr.shape[1:]
    oldshape = np.array(oldshape)    
    repeats = (oldshape / newshape).astype(int)
    tmpshape = np.concatenate([repeats, newshape])
    order = np.arange(len(tmpshape)).reshape(2, -1).ravel(order='F')
    return arr.reshape(tmpshape).transpose(order).reshape(oldshape)

tests = [[np.arange(4*6*16), (4,6,16), (2,3,4)],
         [np.arange(8*8*8*8), (8,8,8,8), (2,2,2,2)]]

for arr, oldshape, newshape in tests:
    arr = arr.reshape(oldshape)
    assert np.allclose(uncubify(cubify(arr, newshape), oldshape), arr)
    # cuber = Cubify(oldshape,newshape)
    # assert np.allclose(cuber.uncubify(cuber.cubify(arr)), arr)

Answer 2

В дополнение к моему дополнительному вопросу к ответу @unutbu, я думаю, у меня есть обратная работа (если вы хотите разделить куб на кубы, примените функцию к каждому из них, а затем объедините их обратно).

import numpy as np
import pdb
np.set_printoptions(precision=3,linewidth=300)

class Cubify():
    def __init__(self,oldshape,newshape):
        self.newshape = np.array(newshape)
        self.oldshape = np.array(oldshape)
        self.repeats = (oldshape / newshape).astype(int)
        self.tmpshape = np.column_stack([self.repeats, newshape]).ravel()
        order = np.arange(len(self.tmpshape))
        self.order = np.concatenate([order[::2], order[1::2]])
        self.reverseOrder = self.order.copy()
        self.reverseOrder = np.arange(len(self.tmpshape)).reshape(2, -1).ravel(order='F')
        self.reverseReshape = np.concatenate([self.repeats,self.newshape])

    def cubify(self,arr):
        # newshape must divide oldshape evenly or else ValueError will be raised
        return arr.reshape(self.tmpshape).transpose(self.order).reshape(-1, *self.newshape)

    def uncubify(self,arr):
        return arr.reshape(self.reverseReshape).transpose(self.reverseOrder).reshape(self.oldshape)

if __name__ == "__main__":
    N = 9
    x = np.arange(N**3).reshape(N,N,N)
    oldshape = x.shape
    newshape = np.array([3,3,3])
    cuber = Cubify(oldshape,newshape)
    out = cuber.cubify(x)
    back = cuber.uncubify(out)

Answer 3

Я не думаю, что есть многоосная версия, где вы можете разделить некоторые заданные оси. Но вы можете разделить его на одно измерение за раз. Например, вот так:

def split2(arys, sections, axis=[0, 1]):
    if not isinstance(arys, list):
         arys = [arys]
    for ax in axis:
        arys = [np.split(ary, sections, axis=ax) for ary in arys]
        arys = [ary for aa in arys for ary in aa]  # Flatten
    return arys

Это можно использовать так:

In [1]: a = np.array(range(100)).reshape(10, 10)
In [2]: split2(a, 2, axis=[0, 1])
Out[2]:
[array([[ 0,  1,  2,  3,  4],
       [10, 11, 12, 13, 14],
       [20, 21, 22, 23, 24],
       [30, 31, 32, 33, 34],
       [40, 41, 42, 43, 44]]),
 array([[ 5,  6,  7,  8,  9],
       [15, 16, 17, 18, 19],
       [25, 26, 27, 28, 29],
       [35, 36, 37, 38, 39],
       [45, 46, 47, 48, 49]]),
 array([[50, 51, 52, 53, 54],
       [60, 61, 62, 63, 64],
       [70, 71, 72, 73, 74],
       [80, 81, 82, 83, 84],
       [90, 91, 92, 93, 94]]),
 array([[55, 56, 57, 58, 59],
       [65, 66, 67, 68, 69],
       [75, 76, 77, 78, 79],
       [85, 86, 87, 88, 89],
       [95, 96, 97, 98, 99]])]

Answer 4

мне нужно было cubifyфункция из ответа unutbu, написанная с использованием функций TensorFlow, чтобы иметь возможность использовать ее в качестве слоя в моей нейронной сети и оптимизировать ее с помощью @tf.function. Я считаю, что это может быть кому-то полезно, поэтому я оставляю это здесь. Я не проверял общую функциональность на разных данных, но для моих данных он отлично работает.

      @tf.function
def cubify(inputs, output_shape):
    repeats = tf.math.floordiv(inputs.shape, output_shape)
    tmp_shape = tf.stack([repeats, output_shape], axis=1)
    tmp_shape_reshaped = tf.reshape(tmp_shape, [-1])
    range_len = tf.range(len(tmp_shape_reshaped))
    order = tf.concat([[range_len[::2], range_len[1::2]]], axis=1)
    order_reshaped = tf.reshape(order, [-1])
    output = tf.reshape(inputs, tmp_shape_reshaped)
    output_reordered = tf.transpose(output, order_reshaped)
    output_reshaped = tf.reshape(output_reordered, (-1, *output_shape))
    return output_reshaped