IndexError: слишком много индексов для массива Numpy Plotting CCDF с CSV

Question

Я пытаюсь построить CCDF с помощью numpy и вход csv с #keywords как col[0] и частота как col[1],

вход

#Car,45
#photo,4
#movie,6
#life,1

На входе более 10 тысяч строк и два столбца, из которых col[0] не используется вообще и только частота от col[1] используется для построения графика CCDF, В данных нет пустых промежуточных строк, а в пустых строках нет.

Код:

import numpy as np
import matplotlib.pyplot as plt
import numpy as np
import matplotlib.pyplot as plt
from pylab import*
import math
from matplotlib.ticker import LogLocator

data = np.genfromtxt('input.csv', delimiter=",")

d0=data[:,1]
X0 = np.sort(d0)
cdf0 = np.arange(len(X0))/float(len(X0))
#cumulative = np.cumsum(data)
ccdf0 = 1 - cdf0
plt.plot(X0,ccdf0, color='b', marker='.', label='Frequency')

plt.legend(loc='upper right')
plt.xlabel('Freq (x)')
plt.ylabel('ccdf(x)')
plt.gca().set_xscale("log")
#plt.gca().set_yscale("log")
plt.show()

ошибка

Traceback (most recent call last):
  File "00_plot_ccdf.py", line 17, in <module>
    d0=data[:,1]
IndexError: too many indices for array

Заранее спасибо

Answer 1

genfromtxt по умолчанию обрабатывает строки, начинающиеся с # как комментарии, так на самом деле ваш data пустой:

In [1]: genfromtxt('test.csv', delimiter=',')         
/usr/lib/python3/dist-packages/numpy/lib/npyio.py:1385: UserWarning: genfromtxt: Empty input file: "test.csv"
  warnings.warn('genfromtxt: Empty input file: "%s"' % fname)
Out[1]: array([], dtype=float64)

data это одномерный пустой массив и так [:,1] это слишком много показателей.

Чтобы отключить этот проход comments=None в genfromtxt:

In [20]: genfromtxt('test.csv', delimiter=',', comments=None)
Out[20]: 
array([[ nan,  45.],
       [ nan,   4.],
       [ nan,   6.],
       [ nan,   1.]])

Поскольку вам нужен только столбец 2., вы также можете ограничить результаты непосредственно:

In [21]: genfromtxt('test.csv', delimiter=',', comments=None, usecols=(1,))
Out[21]: array([ 45.,   4.,   6.,   1.])