Тахион, похоже, не знает о доступной памяти

Question

Просто чтобы посмотреть, выдаст ли мне Tachyon ошибку о том, что настроенная память больше, чем доступно, я установил:

# Some value over combined available mem and disk space.
export TACHYON_WORKER_MEMORY_SIZE=1000GB

И заметил распределение в веб-интерфейсе без ошибок.

Будет ли какая-то информация выведена на диск при превышении доступной оперативной памяти?

Что происходит, когда он превышает место на диске? Ошибки удаленного файла или системный сбой?

Answer 1

Это ожидаемое (если, возможно, бесполезное поведение), и в конечном итоге это связано с тем, что Tachyon использует Linux ramfs в качестве хранилища в памяти.

Как объясняется в этой статье:

ramfs Файловые системы не могут быть ограничены по размеру, как файловая система на диске, которая ограничена по объему. ramfs будет продолжать использовать память до тех пор, пока система не исчерпает ОЗУ и, вероятно, выйдет из строя или перестанет отвечать на запросы.

Обратите внимание, что Tachyon будет применять ограничение размера в зависимости от размера, который вы ему даете. Однако, как вы обнаружили, вы можете выделить больше оперативной памяти, чем фактически доступно, и Tachyon не будет проверять это, поэтому вы можете пойти дальше и подать отчет об ошибке.

Чтобы ответить на ваши конкретные вопросы:

• Никакие лишние данные не будут выгружаться на диск автоматически
• Когда ОЗУ заполнена, поведение зависит от ОС

Обратите внимание, что параметр, на который вы ссылаетесь, управляет только пространством в памяти, если вы хотите использовать локальные диски в дополнение к ОЗУ, вам нужно использовать Tachyon Tiered Storage.