Недостаточно памяти с пандами данных

Question

Мой код выглядит так:

import pandas as pd
import os
import glob
import numpy as np

# Reading files and getting Dataframes

PathCurrentPeriod = '/home/sergio/Documents/Energyfiles'
allFiles = glob.glob(PathCurrentPeriod + "/*.csv")
frame = pd.DataFrame()

list_ = []

for file_ in allFiles:
    df = pd.read_csv(file_) 
    list_.append(df)

frame = pd.concat(list_, axis='rows')

Тем не менее, файлов около 300. Я думаю, что получаю "убитый" ответ от терминала, когда я запускаю его на VSCode, так как попытка получить эти 300 файлов, хранящихся в "фрейме", может привести к тому, что виртуальная машина, на которой я ее запускаю, перейдет недостаточно оперативной памяти

Есть ли работа вокруг? Можно ли использовать жесткий диск в качестве памяти для обработки или оперативной памяти?

Проблема не в самом размере каждого CSV, так что я могу читать их по частям... проблема в том, что я добавляю слишком много.