xrange касается использования больших лимитов

Скажем, у меня есть таблица sqlite с 5 столбцами, от val1 до val5, где каждый столбец содержит 165000 записей. Я вытягиваю каждую и загружаю в массивы scipy, как показано ниже:

dB= sqlite3.connect('VALUES.db')
cur = db.cursor()

cur.execute('''SELECT val1 FROM table''')
v1=scipy.array(cur.fetchall())

cur.execute('''SELECT val2 FROM table''')
v2=scipy.array(cur.fetchall())
.
.
.

cur.execute('''SELECT val5 FROM table''')
v5=scipy.array(cur.fetchall())

Затем я выполняю функцию над массивами внутри цикла for и xrange, например:

def fun()

    for i in xrange(0,165000): 
        "perform simple function on values  v1 to v5"

fun()

Так что проблема в том, сколько времени нужно для этого (14 минут, и у меня есть 30 таблиц, чтобы пройти). Если проблема в моей функции, я сам разберусь с ней, но я задаю этот вопрос, чтобы выяснить, замечает ли кто-нибудь что-то сразу и явно неэффективно с начальной настройкой выше, прежде чем я начну разбирать вещи на части.

Существуют ли какие-либо отраслевые стандартные советы по ускорению вышеупомянутых? Я начинающий Python мудрый, ~ 3 месяца опыта или около того. Я могу найти способ обойти это, но эффективное использование - другое дело.

0 ответов

Другие вопросы по тегам