Описание тега python-performance
Выполнение программ Python и специальных конструкций Python.
2
ответа
Предложения, необходимые для подхода Python Scandir
В папке 10 000 файлов. несколько файлов, созданных в 2018-06-01, немногие в 2018-06-09, как это. Мне нужно найти все файлы, которые созданы на 2018-06-09. Но это занимает много времени (почти 2 часа), чтобы прочитать каждый файл и получить дату созд…
12 июн '18 в 16:50
0
ответов
Почему Anaconda Python быстрее VS2017?
У меня два python среда: одна из Visual Studio 2017 а второй Anaconda, Я обнаружил, что первый в два раза медленнее второго, даже если я бегу *.py скрипты не через оболочку Visual Studio, а напрямую из командной строки, используя python.exe: C:\Prog…
20 авг '18 в 13:14
1
ответ
Программа на python замедляется со временем - feedparser
У меня есть программа на Python, которая работает в цикле и загружает 20k RSS-каналов с использованием feedparser и вставляет данные фидов в RDBMS. Я заметил, что он начинается с 20-30 кормлений в минуту и постепенно замедляется. Через пару часов …
23 фев '16 в 13:15
1
ответ
Python объекты в других классах или отдельные?
У меня есть приложение, над которым я работаю в Python 2.7, в котором есть несколько классов, которые должны взаимодействовать друг с другом, прежде чем вернуть все обратно в основную программу для вывода. Итак, краткий пример кода: class foo_networ…
14 сен '16 в 12:38
1
ответ
Эффективно выделить много объектов Python
Я работаю над программой на Python, и есть внутренний цикл, который вызывает проблемы с производительностью. Я запустил на нем профилировщик и обнаружил, что 50% времени тратится на распределение объектов. В основном, как-то так: result_list = [] fo…
19 май '17 в 19:21
1
ответ
Почему этот метод тестирования на палиндромы намного медленнее?
У меня есть два разных метода тестирования на палиндром. Одним из них является следующее: def palindrome(text): return text == text[::-1] Очень просто, конечно, но я предполагал, что это будет медленно, поскольку он (безусловно) должен хранить значе…
30 ноя '15 в 18:15
0
ответов
Python: производительность для манипуляции с данными в Pandas относительно datetime.strptime
Что касается производительности Python: Для следующего кода: for index, row in df.iterrows(): old_date = row['olddate'] df.loc[index, 'date'] = datetime.strptime(old_date, "%d/%m/%Y").strftime("%Y%m%d") Я могу получить производительность во время вы…
04 дек '17 в 14:03
1
ответ
Почему операции Python в 30 раз медленнее после вызова time.sleep или subprocess.Popen?
Рассмотрим следующий цикл: for i in range(20): if i == 10: subprocess.Popen(["echo"]) # command 1 t_start = time.time() 1+1 # command 2 t_stop = time.time() print(t_stop - t_start) Команда "команда 2" выполняется систематически дольше, когда "команд…
09 ноя '18 в 14:20
3
ответа
Сбор данных первым в Python для проведения операций
Недавно у меня был тест. Мне дали следующую проблему, где я должен был соответствовать logdata и expected_result, Код выглядит следующим образом, отредактированный с помощью моего решения: import collections log_data = """1.1.2014 12:01,111-222-333,…
28 дек '16 в 07:24
5
ответов
Объедините два больших словаря по ключу - самый быстрый подход
У меня есть два больших словаря: это пример для демонстрации, но вы можете представить каждый словарь, имеющий около 100 тыс. Записей. d1 = {'0001': [('skiing',0.789),('snow',0.65),('winter',0.56)],'0002': [('drama', 0.89),('comedy', 0.678),('action…
18 мар '15 в 16:10
1
ответ
Более быстрый способ перебрать большой DataFrame
Я хотел бы улучшить свой код, чтобы он был более питонным и повышал скорость обработки данных. Текущий код работает, но я уверен, что это можно улучшить. Размер файла.csv составляет 702 МБ, поэтому мне требуется около 7-10 минут, чтобы добраться до …
21 сен '17 в 19:20
0
ответов
Альтернатива нарезке и пониманию списка
Я ищу, чтобы ускорить мой код. Я попытался повторить мой код в следующем: Я начинаю с чтения определенных файлов CSV из папки и сохраняю данные в формате dict: Все является частью методов внутри классов. csv_dir: Folder with all the CSV files list: …
27 ноя '17 в 08:41
1
ответ
Django REST Framework - медлительность POST, когда размер тела превышает 1024 символа
Я использую DRF. Я обнаружил, что получение POST с более чем 1024 символами приводит к штрафу в ~1 секунду, в то время как все, что меньше этого, эффективно бесплатно. Я упростил это в этом тривиальном примере: # views.py import time from rest_frame…
08 ноя '18 в 07:25
3
ответа
python / django: вложенный цикл действительно медленный для обхода набора запросов
У меня есть две модели под названием машина и производительность, class machine(models.Model): machine_type = models.CharField(null=True, max_length=10) machine_no = models.IntegerField(null=True) machine_name = models.CharField(null=True,max_length…
08 май '18 в 06:32
2
ответа
Наиболее эффективный способ переупорядочения списка объектов с использованием свойства order, которое есть у каждого объекта
Я пытаюсь создать алгоритм, который будет проходить через список объектов и сортировать их, но не точно сортировать, как перемещение элементов списка на основе свойства, порядок исходного списка не меняется, что определяет порядок не то, как объекты…
03 июл '19 в 18:50
0
ответов
Как перебирать кадры данных pandas строка за строкой с 10M строками
Я работаю над веб-службами Python Flask, и это требование похоже... Приложение будет получать один файл в формате csv или xlsx. Я прочитал этот файл и преобразовал его в фреймворк Pandas. Теперь мне нужно перебрать каждую строку фрейма данных и пров…
26 сен '19 в 16:56
1
ответ
Почему zip(*(range(1000),)*1000000) такой быстрый?
В Python 3 как строка zip(*(range(1000),)*1000000) выполняется менее чем за секунду? Изменить: этот вопрос был отмечен как возможный дубликат вопроса Почему "1000000000000000 в диапазоне (1000000000000001)" так быстро в Python 3?. Хотя этот вопрос к…
14 сен '19 в 19:29
2
ответа
Эффективно вычисляйте непоследовательное количество появлений элемента в кадре данных
Учитывая следующий фрейм данных Value time 2020-02-14 14:16:10.769999872+00:00 74 2020-02-14 14:16:11.360999936+00:00 74 2020-02-14 14:16:11.970000128+00:00 72 2020-02-14 14:16:12.637000192+00:00 72 2020-02-14 14:16:13.210000128+00:00 74 ... ... 202…
03 мар '20 в 23:35
1
ответ
Один и тот же код Python имеет разные характеристики производительности.
Описание В моем коде для создания N случайные строки длины k, выражение генератора для создания случайного k-символьная строка вызывается либо N+1 или (N+1)*k (он же N*k+N) раз. Похоже, это происходит с одним и тем же кодом, и я могу переключаться т…
28 май '20 в 08:52
2
ответа
Поиск подстроки в строке в DataFrame pandas очень медленный
Изменить: я понял, выполняя это упражнение, что мне нужно извлекать целые слова, а не части слов. Я отредактировал исходный вопрос и свой ответ, чтобы сделать код более устойчивым к этому проекту, не меняя сути проблемы. Мой поиск в Интернете и SO н…
07 авг '20 в 14:42