xrange касается использования больших лимитов
Скажем, у меня есть таблица sqlite с 5 столбцами, от val1 до val5, где каждый столбец содержит 165000 записей. Я вытягиваю каждую и загружаю в массивы scipy, как показано ниже:
dB= sqlite3.connect('VALUES.db')
cur = db.cursor()
cur.execute('''SELECT val1 FROM table''')
v1=scipy.array(cur.fetchall())
cur.execute('''SELECT val2 FROM table''')
v2=scipy.array(cur.fetchall())
.
.
.
cur.execute('''SELECT val5 FROM table''')
v5=scipy.array(cur.fetchall())
Затем я выполняю функцию над массивами внутри цикла for и xrange, например:
def fun()
for i in xrange(0,165000):
"perform simple function on values v1 to v5"
fun()
Так что проблема в том, сколько времени нужно для этого (14 минут, и у меня есть 30 таблиц, чтобы пройти). Если проблема в моей функции, я сам разберусь с ней, но я задаю этот вопрос, чтобы выяснить, замечает ли кто-нибудь что-то сразу и явно неэффективно с начальной настройкой выше, прежде чем я начну разбирать вещи на части.
Существуют ли какие-либо отраслевые стандартные советы по ускорению вышеупомянутых? Я начинающий Python мудрый, ~ 3 месяца опыта или около того. Я могу найти способ обойти это, но эффективное использование - другое дело.