Общая память, используемая процессом Python?
Есть ли способ для программы Python определить, сколько памяти она использует в настоящее время? Я видел дискуссии об использовании памяти для одного объекта, но мне нужно общее использование памяти для процесса, чтобы я мог определить, когда необходимо начать отбрасывать кэшированные данные.
12 ответов
Вот полезное решение, которое работает для различных операционных систем, включая Linux, Windows 7 и т.д.:
import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)
На моей текущей установке Python 2.7 последняя строка должна быть
print(process.get_memory_info()[0])
вместо этого (было изменение в API).
Для Unix (Linux, Mac OS X, Solaris) вы также можете использовать getrusage() функция из стандартного библиотечного модуля resource, Полученный объект имеет атрибут ru_maxrss, который дает пиковое использование памяти для вызывающего процесса:
>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656 # peak memory usage (bytes on OS X, kilobytes on Linux)
Документы Python не ясно, какие именно устройства, но справочная страница Mac OS X для getrusage(2) описывает единицы в байтах. Справочная страница Linux не ясна, но кажется, что она эквивалентна информации из /proc/self/statusв килобайтах.
getrusage() функция также может быть задана resource.RUSAGE_CHILDREN чтобы получить использование для дочерних процессов, и (в некоторых системах) resource.RUSAGE_BOTH для общего (самостоятельного и дочернего) использования процесса.
resource стандартный модуль библиотеки
Если вы заботитесь только о Linux, вы можете просто проверить /proc/self/status файл, как описано в аналогичном вопросе.
В Windows вы можете использовать WMI ( домашняя страница, cheeseshop):
def memory():
import os
from wmi import WMI
w = WMI('.')
result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
return int(result[0].WorkingSet)
В Linux (из кулинарной книги python http://code.activestate.com/recipes/286222/:
import os
_proc_status = '/proc/%d/status' % os.getpid()
_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0,
'KB': 1024.0, 'MB': 1024.0*1024.0}
def _VmB(VmKey):
'''Private.
'''
global _proc_status, _scale
# get pseudo file /proc/<pid>/status
try:
t = open(_proc_status)
v = t.read()
t.close()
except:
return 0.0 # non-Linux?
# get VmKey line e.g. 'VmRSS: 9999 kB\n ...'
i = v.index(VmKey)
v = v[i:].split(None, 3) # whitespace
if len(v) < 3:
return 0.0 # invalid format?
# convert Vm value to bytes
return float(v[1]) * _scale[v[2]]
def memory(since=0.0):
'''Return memory usage in bytes.
'''
return _VmB('VmSize:') - since
def resident(since=0.0):
'''Return resident memory usage in bytes.
'''
return _VmB('VmRSS:') - since
def stacksize(since=0.0):
'''Return stack size in bytes.
'''
return _VmB('VmStk:') - since
В Unix вы можете использовать ps инструмент для его мониторинга:
$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'
где 1347 - некоторый идентификатор процесса. Также результат в МБ.
Текущее использование памяти текущего процесса в Linux для Python 2, Python 3 и pypy без импорта:
def getCurrentMemoryUsage():
''' Memory usage in kB '''
with open('/proc/self/status') as f:
memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]
return int(memusage.strip())
Протестировано на Linux 4.4 и 4.9, но даже ранняя версия Linux должна работать.
Ищу в man proc и поиск информации о /proc/$PID/status файл, он упоминает минимальные версии для некоторых полей (например, Linux 2.6.10 для "VmPTE"), но в поле "VmRSS" (которое я здесь использую) такого упоминания нет. Поэтому я предполагаю, что это было там с ранней версии.
Ниже приведен мой декоратор функций, который позволяет отследить, сколько памяти потребляет этот процесс до вызова функции, сколько памяти он использует после вызова функции и как долго выполняется функция.
import time
import os
import psutil
def elapsed_since(start):
return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))
def get_process_memory():
process = psutil.Process(os.getpid())
return process.get_memory_info().rss
def track(func):
def wrapper(*args, **kwargs):
mem_before = get_process_memory()
start = time.time()
result = func(*args, **kwargs)
elapsed_time = elapsed_since(start)
mem_after = get_process_memory()
print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
func.__name__,
mem_before, mem_after, mem_after - mem_before,
elapsed_time))
return result
return wrapper
Итак, когда у вас есть какая-то функция, украшенная этим
from utils import track
@track
def list_create(n):
print("inside list create")
x = [1] * n
return x
Вы сможете увидеть этот вывод:
inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00
Даже проще в использовании, чем /proc/self/status: /proc/self/statm, Это просто список разделенных пробелами нескольких статистических данных. Я не смог сказать, присутствуют ли оба файла всегда.
/ Proc/[PID]/statm
Предоставляет информацию об использовании памяти, измеряемую в страницах. Столбцы:
- size (1) общий размер программы (такой же, как VmSize в /proc/[pid]/status)
- резидентный (2) размер резидентного набора (такой же, как VmRSS в /proc/[pid]/status)
- shared (3) количество резидентных общих страниц (т. е. поддержанных файлом) (аналогично RssFile+RssShmem в /proc/[pid]/status)
- текст (4) текст (код)
- Библиотека lib (5) (не используется с Linux 2.6; всегда 0)
- данные (6) данные + стек
- dt (7) грязные страницы (не используется начиная с Linux 2.6; всегда 0)
Вот простой пример:
from pathlib import Path
from resource import getpagesize
def get_resident_set_size():
# Columns are: size resident shared text lib data dt
statm = Path('/proc/self/statm').read_text()
fields = statm.split()
return int(fields[1]) * getpagesize()
data = []
start_memory = get_resident_set_size()
for _ in range(10):
data.append('X' * 100000)
print(get_resident_set_size() - start_memory)
Это создает список, который выглядит примерно так:
0
0
368640
368640
368640
638976
638976
909312
909312
909312
Вы можете видеть, что он увеличивается примерно на 300 000 байтов после примерно 3 распределений по 100 000 байтов.
Для Python 3.6 и psutil 5.4.5 его проще использовать memory_percent() Функция перечислена здесь.
import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())
Мне нравится, спасибо за @bayer. Сейчас я получаю конкретный инструмент для подсчета процессов.
# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB
# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB
Прикрепить мой список процессов.
$ ps aux | grep python
root 943 0.0 0.1 53252 9524 ? Ss Aug19 52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root 950 0.6 0.4 299680 34220 ? Sl Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root 3803 0.2 0.4 315692 36576 ? S 12:43 0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny 23325 0.0 0.1 47460 9076 pts/0 S+ 17:40 0:00 python
jonny 24651 0.0 0.0 13076 924 pts/4 S+ 18:06 0:00 grep python
Ссылка
Куча (и друзья) может быть то, что вы ищете.
Кроме того, кэши обычно имеют фиксированный верхний предел размера, чтобы решить проблему, о которой вы говорите. Например, проверьте этот LRU кеш-декоратор.
import os, win32api, win32con, win32process
han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])
Для систем Unix time (/usr/bin/time) даст вам эту информацию, если вы передадите -v. Видеть Maximum resident set size ниже, это максимальная (пиковая) реальная (не виртуальная) память, которая использовалась во время выполнения программы:
$ /usr/bin/time -v ls /
Command being timed: "ls /"
User time (seconds): 0.00
System time (seconds): 0.01
Percent of CPU this job got: 250%
Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
Average shared text size (kbytes): 0
Average unshared data size (kbytes): 0
Average stack size (kbytes): 0
Average total size (kbytes): 0
Maximum resident set size (kbytes): 0
Average resident set size (kbytes): 0
Major (requiring I/O) page faults: 0
Minor (reclaiming a frame) page faults: 315
Voluntary context switches: 2
Involuntary context switches: 0
Swaps: 0
File system inputs: 0
File system outputs: 0
Socket messages sent: 0
Socket messages received: 0
Signals delivered: 0
Page size (bytes): 4096
Exit status: 0
Использование sh и os для получения ответа от python bayer.
float(sh.awk(sh.ps('u','-p',os.getpid()),'{sum=sum+$6}; END {print sum/1024}'))
Ответ в мегабайтах.