Должно ли определение кодировки быть в 1-й /2-й строке в Python?

От PEP263:

Чтобы определить кодировку исходного кода, магический комментарий должен быть помещен в исходные файлы в виде первой или второй строки файла, например:

# coding=<encoding name>

или (используя форматы, признанные популярными редакторами):

#!/usr/bin/python
# -*- coding: <encoding name> -*-

Что делать, если в некоторых случаях информация о лицензировании указана в самых верхних строках, например, по https://github.com/google/seq2seq/blob/master/seq2seq/training/utils.py:

# Copyright 2017 Google Inc.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

# -*- coding: utf-8 -*-
"""Miscellaneous training utility functions.
"""

Будет ли определение кодировки все еще "магически" принято интерпретатором Python? Было бы здорово, если бы ответ объяснял, почему он должен быть в первых двух строках, а указатель на код интерпретатора был бы потрясающим!

Источник

2 ответа

Решение

Да, в Python 2, где эта метка кодирования требуется для кодировок UTF-8, если она выходит за пределы второй строки, и в файле есть любые символы, не относящиеся к ASCII, вы выдадите ошибку, подобную этой:

File "encoded.py", line 5
SyntaxError: Non-ASCII character '\xe1' in file encoded.py on line 5, but 
no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

Если файл содержит только символы ASCII, он все равно будет работать, даже если метка кодирования UTF-8 будет более поздней, чем строка 2. ASCII является подмножеством UTF-8, и в основном директива позднего кодирования игнорируется. (Это, похоже, относится к конкретным utils.py Вы ссылались.)

Многие парсеры и другие файловые процессоры требуют, чтобы такие магические команды были в начале файла, потому что они должны быть отсканированы и приняты во внимание для правильной интерпретации файлов. Поместите их позже, и это будет неэффективно, требуя сканирования всего файла, чтобы найти несколько "волшебных" особых случаев.

Вы получите некоторую свободу действий в Python 3, который предполагает кодировку UTF-8. Хотя, если ваш файл закодирован как-то иначе, вы все равно захотите включить его.

Источник

Спецификация учитывает первые две строки, чтобы учесть шебанг #!... в системах Unix.

Нет, после второй строки это не разрешено.

Вот фрагмент кода из токенизатора cpython, который проверяет (и анализирует) кодирующий файл cookie: https://github.com/python/cpython/blob/9e52c907b5511393ab7e44321e9521fe0967e34d/Parser/tokenizer.c#L613-L616

Источник
Другие вопросы по тегам