Есть ли способ эффективно реализовать скользящее окно для одномерных массивов в Numpy?
Например, у меня есть этот чистый фрагмент кода Python для вычисления скользящих стандартных отклонений для одномерного списка, где observations - это одномерный список значений, а n - длина окна для стандартного отклонения:
stdev = []
for i, data in enumerate(observations[n-1:]):
strip = observations[i:i+n]
mean = sum(strip) / n
stdev.append(sqrt(250*sum([(s-mean)**2 for s in strip])/(n-1)))
Есть ли способ сделать это полностью в Numpy, то есть без каких-либо циклов Python? Стандартное отклонение тривиально с numpy.std, но часть с скользящим окном меня совершенно озадачивает.
Я нашел это сообщение в блоге о скользящем окне в Numpy. , но, похоже, это не для 1D-массивов.
Ответ 1 · рейтинг 79 · so12311
Просто используйте код блога, но примените свою функцию к результату.
i.e.
numpy.std(rolling_window(observations, n), 1)
где у вас есть (из блога):
def rolling_window(a, window):
shape = a.shape[:-1] + (a.shape[-1] - window + 1, window)
strides = a.strides + (a.strides[-1],)
return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)
Ответ 2 · рейтинг 13 · Leland Hepworth
Я попытался использовать so12311 ответ, указанный выше, для 2D-массива с формой [samples, features], чтобы получить выходной массив с формой [samples, timesteps, features] для использования с нейронной сетью свертки или lstm, но он работал не совсем правильно. Изучив, как работают шаги, я понял, что окно перемещается по последней оси, поэтому я внес некоторые коррективы, чтобы вместо этого окно перемещалось по первой оси:
def rolling_window(a, window_size):
shape = (a.shape[0] - window_size + 1, window_size) + a.shape[1:]
strides = (a.strides[0],) + a.strides
return np.lib.stride_tricks.as_strided(a, shape=shape, strides=strides)
ПРИМЕЧАНИЕ: нет никакой разницы в выводе, если вы используете только одномерный входной массив. В моем поиске это был первый результат, который приблизился к тому, что я хотел сделать, поэтому я добавляю это, чтобы помочь другим, ищущим аналогичный ответ.
Ответ 4 · рейтинг 7 · Xavier Guihot
Начиная с версии Numpy 1.20, вы можете напрямую получить скользящее окно с помощью sliding_window_view:
from numpy.lib.stride_tricks import sliding_window_view
sliding_window_view(np.array([1, 2, 3, 4, 5, 6]), window_shape = 3)
# array([[1, 2, 3],
# [2, 3, 4],
# [3, 4, 5],
# [4, 5, 6]])
Ответ 5 · Miguel Gonzalez
Основываясь на последних ответах, здесь я добавляю код для прокатки одномерных массивов numpy, выбирая размер окна и частоту шагов окна.
a = np.arange(50)
def rolling_window(array, window_size,freq):
shape = (array.shape[0] - window_size + 1, window_size)
strides = (array.strides[0],) + array.strides
rolled = np.lib.stride_tricks.as_strided(array, shape=shape, strides=strides)
return rolled[np.arange(0,shape[0],freq)]
rolling_window(a,10,5)
Вывод:
array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9],
[ 5, 6, 7, 8, 9, 10, 11, 12, 13, 14],
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19],
[15, 16, 17, 18, 19, 20, 21, 22, 23, 24],
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29],
[25, 26, 27, 28, 29, 30, 31, 32, 33, 34],
[30, 31, 32, 33, 34, 35, 36, 37, 38, 39],
[35, 36, 37, 38, 39, 40, 41, 42, 43, 44],
[40, 41, 42, 43, 44, 45, 46, 47, 48, 49]])
