Как настроить проект Django с django-хранилищами и Amazon S3, но с разными папками для статических файлов и медиа-файлов?

Question

Как настроить проект Django с django-хранилищами и Amazon S3, но с разными папками для статических файлов и медиа-файлов?

Я настраиваю проект Django, который использовал файловую систему сервера для хранения статических файлов приложений (STATIC_ROOT) и загруженные пользователем файлы (MEDIA_ROOT).

Теперь мне нужно разместить весь этот контент на Amazon S3, поэтому я создал корзину для этого. С помощью django-storages с boto Бэкэнд хранилища, мне удалось выгрузить собранную статику в корзину S3:

MEDIA_ROOT = '/media/'
STATIC_ROOT = '/static/'

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = 'KEY_ID...'
AWS_SECRET_ACCESS_KEY = 'ACCESS_KEY...'
AWS_STORAGE_BUCKET_NAME = 'bucket-name'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'

Тогда у меня возникла проблема: MEDIA_ROOT а также STATIC_ROOT не используются внутри корзины, поэтому корень корзины содержит как статические файлы, так и загруженные пользователем пути.

Тогда я мог бы установить:

S3_URL = 'http://s3.amazonaws.com/%s' % AWS_STORAGE_BUCKET_NAME
STATIC_URL = S3_URL + STATIC_ROOT
MEDIA_URL = 'S3_URL + MEDIA_ROOT

И используйте эти настройки в шаблонах, но при хранении в S3 с django-storages,

Как это можно сделать?

Спасибо!

98

django amazon-s3 django-settings static-files django-storage

Источник

user288457 30 апр '12 в 20:36

6 ответов

Решение

В настоящее время я использую этот код в отдельном s3utils модуль:

from django.core.exceptions import SuspiciousOperation
from django.utils.encoding import force_unicode

from storages.backends.s3boto import S3BotoStorage


def safe_join(base, *paths):
    """
    A version of django.utils._os.safe_join for S3 paths.

    Joins one or more path components to the base path component intelligently.
    Returns a normalized version of the final path.

    The final path must be located inside of the base path component (otherwise
    a ValueError is raised).

    Paths outside the base path indicate a possible security sensitive operation.
    """
    from urlparse import urljoin
    base_path = force_unicode(base)
    paths = map(lambda p: force_unicode(p), paths)
    final_path = urljoin(base_path + ("/" if not base_path.endswith("/") else ""), *paths)
    # Ensure final_path starts with base_path and that the next character after
    # the final path is '/' (or nothing, in which case final_path must be
    # equal to base_path).
    base_path_len = len(base_path) - 1
    if not final_path.startswith(base_path) \
       or final_path[base_path_len:base_path_len + 1] not in ('', '/'):
        raise ValueError('the joined path is located outside of the base path'
                         ' component')
    return final_path


class StaticRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(StaticRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'static/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)


class MediaRootS3BotoStorage(S3BotoStorage):
    def __init__(self, *args, **kwargs):
        super(MediaRootS3BotoStorage, self).__init__(*args, **kwargs)
        self.location = kwargs.get('location', '')
        self.location = 'media/' + self.location.lstrip('/')

    def _normalize_name(self, name):
        try:
            return safe_join(self.location, name).lstrip('/')
        except ValueError:
            raise SuspiciousOperation("Attempted access to '%s' denied." % name)

Затем в моем модуле настроек:

DEFAULT_FILE_STORAGE = 'myproyect.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproyect.s3utils.StaticRootS3BotoStorage'

Я должен переопределить _normalize_name() закрытый метод, чтобы использовать "фиксированную" версию safe_join() функция, так как оригинальный код дает мне SuspiciousOperation исключения для законных путей.

Я отправляю это на рассмотрение, если кто-то может дать лучший ответ или улучшить этот, это будет очень приветствоваться.

8

Источник

user288457 16 май '12 в 20:31

Файл: PROJECT_NAME/custom_storages.py

from django.conf import settings
from storages.backends.s3boto import S3BotoStorage

class StaticStorage(S3BotoStorage):
    location = settings.STATICFILES_LOCATION

class MediaStorage(S3BotoStorage):
    location = settings.MEDIAFILES_LOCATION

Файл: PROJECT_NAME/settings.py

STATICFILES_LOCATION = 'static'
MEDIAFILES_LOCATION = 'media'

if not DEBUG:
    STATICFILES_STORAGE = 'PROJECT_NAME.custom_storages.StaticStorage'
    DEFAULT_FILE_STORAGE = 'PROJECT_NAME.custom_storages.MediaStorage'
    AWS_ACCESS_KEY_ID = 'KEY_XXXXXXX'
    AWS_SECRET_ACCESS_KEY = 'SECRET_XXXXXXXXX'
    AWS_STORAGE_BUCKET_NAME = 'BUCKET_NAME'
    AWS_HEADERS = {'Cache-Control': 'max-age=86400',}
    AWS_QUERYSTRING_AUTH = False

И запустить: python manage.py collectstatic

7

Источник

user4655240 10 мар '15 в 18:06

Я думаю, что ответ довольно прост и сделан по умолчанию. Это работает для меня на AWS Elastic Beanstalk с Django 1.6.5 и Boto 2.28.0:

STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
)

TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
)

DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage'
AWS_ACCESS_KEY_ID = os.environ['AWS_ACCESS_KEY_ID']
AWS_SECRET_ACCESS_KEY = os.environ['AWS_SECRET_KEY']

Ключи AWS передаются из файла конфигурации контейнера, и у меня нет STATIC_ROOT или же STATIC_URL установить на всех. Кроме того, нет необходимости в s3utils.py файл. Эти детали обрабатываются системой хранения автоматически. Хитрость в том, что мне нужно было правильно и динамически ссылаться на этот неизвестный путь в моих шаблонах. Например:

<link rel="icon" href="{% static "img/favicon.ico" %}">

Вот как я обращаюсь к моему favicon, который живет локально (перед развертыванием) в ~/Projects/my_app/project/my_app/static/img/favicon.ico,

Конечно у меня есть отдельный local_settings.py файл для доступа к этому материалу локально в среде разработчика, и он имеет настройки STATIC и MEDIA. Мне пришлось много экспериментировать и читать, чтобы найти это решение, и оно работает без ошибок.

Я понимаю, что вам нужно статическое и корневое разделение, и, учитывая, что вы можете предоставить только одну корзину, я хотел бы отметить, что этот метод берет все папки в моей локальной среде под ~/Projects/my_app/project/my_app/static/и создает папку в корне буфера (то есть: S3bucket/img/, как в примере выше). Таким образом, вы получаете разделение файлов. Например, вы могли бы иметь media папка в static папку и доступ к ней с помощью шаблонов с этим:

{% static "media/" %}

Надеюсь, это поможет. Я пришел сюда в поисках ответа и немного усерднее пытался найти более простое решение, чем расширение системы хранения. Вместо этого я прочитал документацию о предполагаемом использовании Boto и обнаружил, что многое из того, что мне было нужно, было встроено по умолчанию. Ура!

2

Источник

user2309582 01 окт '14 в 16:15

устарел и не работает, поэтому я обновил его в марте 2021 года .

Обновленный один:

Создать s3utils.pyв той же папке «settings.py»:

      from storages.backends.s3boto3 import S3Boto3Storage

StaticRootS3Boto3Storage = lambda: S3Boto3Storage(location='static')
MediaRootS3Boto3Storage  = lambda: S3Boto3Storage(location='media')

Затем добавьте 2 строки кода в settings.pyи измените « myproject » на имя вашей папки:

      DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto3Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto3Storage'

Обновленный имеет несколько « 3 », как я подчеркиваю ниже.

s3utils.py:

      from storages.backends.s3boto"3" import S3Boto"3"Storage
    
StaticRootS3Boto"3"Storage = lambda: S3Boto"3"Storage(location='static')
MediaRootS3Boto"3"Storage  = lambda: S3Boto"3"Storage(location='media')

настройки.py:

      DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3Boto"3"Storage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3Boto"3"Storage'

Проверьте и сравните с Ответ Браденма(устаревшим) ответом Браденма .

«Я уважаю ответ Браденма».

0

Источник

user8172439 30 мар '21 в 04:31

Если вы хотите иметь подпапки даже до носителей или статических разделений, вы можете использовать AWS_LOCATION поверх ответа bradenm. Ссылка: https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html

AWS_STORAGE_BUCKET_NAME = 'bucket_name'
AWS_LOCATION = 'path1/path2/'

0

Источник

user6616896 27 фев '20 в 10:35

Другие вопросы по тегам django amazon-s3 django-settings static-files django-storage

user1057326 30 май '12 в 23:32 2012-05-30 23:32 · Accepted Answer · 2012-05-30 23:32

Я думаю, что следующее должно работать и быть проще, чем метод Mandx, хотя он очень похож:

Создать s3utils.py файл:

from storages.backends.s3boto import S3BotoStorage

StaticRootS3BotoStorage = lambda: S3BotoStorage(location='static')
MediaRootS3BotoStorage  = lambda: S3BotoStorage(location='media')

Тогда в вашем settings.py:

DEFAULT_FILE_STORAGE = 'myproject.s3utils.MediaRootS3BotoStorage'
STATICFILES_STORAGE = 'myproject.s3utils.StaticRootS3BotoStorage'

Другой, но связанный пример (который я на самом деле проверял) можно увидеть в двух example_ файлы здесь.