Как мне использовать line_profiler (от Роберта Керна)?
Я попытался использовать модуль line_profiler для получения построчного профиля поверх файла Python. Это то, что я сделал до сих пор:
1) Установил line_profiler из pypi с помощью файла.exe (я на WinXP и Win7). Просто нажал через мастер установки.
2) Написан небольшой фрагмент кода (аналогично тому, что было задано в другом ответе на вопрос здесь).
from line_profiler import LineProfiler
def do_stuff(numbers):
print numbers
numbers = 2
profile = LineProfiler(do_stuff(numbers))
profile.print_stats()
3) Запустите код из IDLE/PyScripter. Я получил только время.
Timer unit: 4.17188e-10 s
Как получить полный построчный профиль для кода, который я выполняю? Я никогда не использовал никаких продвинутых функций Python, таких как декораторы, поэтому мне трудно понять, как я буду использовать рекомендации, представленные в нескольких постах, таких как здесь и здесь.
6 ответов
Просто следуйте примеру Дана Рити из первой ссылки, но используйте свой код. Все, что вам нужно сделать после установки line_profiler модуль добавить @profile декоратор перед каждой функцией, которую вы хотите профилировать построчно, и убедитесь, что каждая из них вызывается хотя бы один раз где-то в коде - так для вашего тривиального примера кода это будет примерно так:
example.py файл:
@profile
def do_stuff(numbers):
print numbers
numbers = 2
do_stuff(numbers)
Сделав это, запустите ваш скрипт через kernprof.py✶ который был установлен в вашем C:\Python27\Scripts каталог. Вот (не очень интересный) фактический результат выполнения этого в сеансе командной строки Windows 7:
> python "C:\Python27\Scripts\kernprof.py" -l -v example.py
2
Wrote profile results to example.py.lprof
Timer unit: 3.2079e-07 s
File: example.py
Function: do_stuff at line 2
Total time: 0.00185256 s
Line # Hits Time Per Hit % Time Line Contents
==============================================================
1 @profile
2 def do_stuff(numbers):
3 1 5775 5775.0 100.0 print numbers
Вероятно, вам придется адаптировать этот последний шаг - запуск вашего тестового сценария с kernprof.py вместо напрямую интерпретатором Python - для того, чтобы сделать эквивалент изнутри IDLE или PyScripter.
✶ Обновление
Похоже, что в line_profiler v1.0, kernprof Утилита распространяется как исполняемый файл, а не как .py файл сценария, как это было, когда я написал выше. Это означает, что теперь нужно использовать его для вызова из командной строки:
> "C:\Python27\Scripts\kernprof.exe" -l -v example.py
Этот ответ является копией моего ответа здесь о том, как получить line_profiler статистика из скрипта Python (без использования kernprof из командной строки или необходимости добавления @profile декораторы функций и методов класса). Все ответы (что я видел) на похожие line_profiler вопросы описывают только с помощью kernprof,
line_profiler контрольные примеры (найденные на GitHub) содержат пример того, как генерировать данные профиля из скрипта Python. Вы должны обернуть функцию, которую вы хотите профилировать, а затем вызвать оболочку, передавая любые нужные аргументы функции.
from line_profiler import LineProfiler
import random
def do_stuff(numbers):
s = sum(numbers)
l = [numbers[i]/43 for i in range(len(numbers))]
m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()
Выход:
Timer unit: 1e-06 s
Total time: 0.000649 s
File: <ipython-input-2-2e060b054fea>
Function: do_stuff at line 4
Line # Hits Time Per Hit % Time Line Contents
==============================================================
4 def do_stuff(numbers):
5 1 10 10.0 1.5 s = sum(numbers)
6 1 186 186.0 28.7 l = [numbers[i]/43 for i in range(len(numbers))]
7 1 453 453.0 69.8 m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
Добавление дополнительных функций в профиль
Также вы можете добавить дополнительные функции для профилирования. Например, если у вас была вторая вызываемая функция и вы только оборачивали вызывающую функцию, вы увидите только результаты профиля из вызывающей функции.
from line_profiler import LineProfiler
import random
def do_other_stuff(numbers):
s = sum(numbers)
def do_stuff(numbers):
do_other_stuff(numbers)
l = [numbers[i]/43 for i in range(len(numbers))]
m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()
Выше приведен только следующий профиль вывода для вызывающей функции:
Timer unit: 1e-06 s
Total time: 0.000773 s
File: <ipython-input-3-ec0394d0a501>
Function: do_stuff at line 7
Line # Hits Time Per Hit % Time Line Contents
==============================================================
7 def do_stuff(numbers):
8 1 11 11.0 1.4 do_other_stuff(numbers)
9 1 236 236.0 30.5 l = [numbers[i]/43 for i in range(len(numbers))]
10 1 526 526.0 68.0 m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
В этом случае вы можете добавить дополнительную вызванную функцию в профиль следующим образом:
from line_profiler import LineProfiler
import random
def do_other_stuff(numbers):
s = sum(numbers)
def do_stuff(numbers):
do_other_stuff(numbers)
l = [numbers[i]/43 for i in range(len(numbers))]
m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
numbers = [random.randint(1,100) for i in range(1000)]
lp = LineProfiler()
lp.add_function(do_other_stuff) # add additional function to profile
lp_wrapper = lp(do_stuff)
lp_wrapper(numbers)
lp.print_stats()
Выход:
Timer unit: 1e-06 s
Total time: 9e-06 s
File: <ipython-input-4-dae73707787c>
Function: do_other_stuff at line 4
Line # Hits Time Per Hit % Time Line Contents
==============================================================
4 def do_other_stuff(numbers):
5 1 9 9.0 100.0 s = sum(numbers)
Total time: 0.000694 s
File: <ipython-input-4-dae73707787c>
Function: do_stuff at line 7
Line # Hits Time Per Hit % Time Line Contents
==============================================================
7 def do_stuff(numbers):
8 1 12 12.0 1.7 do_other_stuff(numbers)
9 1 208 208.0 30.0 l = [numbers[i]/43 for i in range(len(numbers))]
10 1 474 474.0 68.3 m = ['hello'+str(numbers[i]) for i in range(len(numbers))]
ПРИМЕЧАНИЕ. Добавление функций в профиль таким способом не требует изменений в профилированном коде (т. Е. Добавлять не нужно @profile декораторы).
Нашел хорошее применение
line_profiler с использованием декоратора IE
@profile это сработало для меня:
def profile(func):
from functools import wraps
@wraps(func)
def wrapper(*args, **kwargs):
from line_profiler import LineProfiler
prof = LineProfiler()
try:
return prof(func)(*args, **kwargs)
finally:
prof.print_stats()
return wrapper
Кредиты: павелпатрин
Если вы используете PyCharm, вы также можете взглянуть на https://plugins.jetbrains.com/plugin/16536-line-profiler.
Это созданный мной плагин, который позволяет загружать и визуализировать результаты профилировщика строк в редакторе PyCharm.
Просто дополнение к ответу @Lhenkel . Это декоратор для асинхронных функций
def async_profile(func):
"""line profiler for an async funciton"""
from functools import wraps
@wraps(func)
async def wrapper(*args, **kwargs):
from line_profiler import LineProfiler
prof = LineProfiler()
try:
return await prof(func)(*args, **kwargs)
finally:
prof.print_stats()
return wrapper
Чтобы использовать эти декораторы с методами, прочитайте этот ответ