Ввод / вывод файла Python с двоичными данными

Question

Я извлекаю биты в формате jpeg из данных mp3, на самом деле это будет обложка альбома. Я думал об использовании библиотеки под названием мутаген, но я хотел бы попробовать с битами для некоторых практических целей.

import os
import sys
import re

f = open(sys.argv[1], "rb")
#sys.argv[1] gets mp3 file name ex) test1.mp3

saver = ""
for value in f:
    for i in value:
        hexval = hex(ord(i))[2:]
        if (ord(i) == 0):
            saver += "00" #to match with hex form
        else:
            saver += hexval


header = "ffd8"
tail = "ffd9"

эта часть кода состоит в том, чтобы получить mp3 как битовую форму, а затем преобразовать его в hex и найти трейлеры jpeg, которые начинаются как "ffd8" и заканчиваются "ffd9"

frontmatch = re.search(header,saver)
endmatch = re.search(tail, saver)
startIndex = frontmatch.start()
endIndex = endmatch.end()

jpgcontents = saver[startIndex:endIndex]
scale = 16 # equals to hexadecimal
numbits = len(jpgcontents) * 4 #log2(scale)
bitcontents = bin(int(jpgcontents, scale))[2:].zfill(numbits)

и здесь я получаю биты между заголовком и хвостом и преобразую его в двоичную форму. Который должен быть частью jpg файлов mp3.

txtfile = open(sys.argv[1] + "_tr.jpg", "w")
txtfile.write(bitcontents)

и я записал мусорное ведро в новый файл с типом записи как jpg. извините за неправильное название txtfile.

Но эти коды дали ошибку, которая

Error interpreting JPEG image file
(Not a JPEG file: starts with 0x31 0x31)

Я не уверен, что биты, которые я извлек, неправильные или запись в файл пошаговая. Или может быть другая проблема в коде.

Я работаю в версии Linux с Python 2.6. Что-то не так с простой записью данных бина типа str как JPG?

Answer 1

Вы создаете строку нулей и единиц ASCII, т.е. \x30 а также \x31, но файл JPEG должен быть правильными двоичными данными. Так, где ваш файл должен иметь один байт (например) \xd8 вместо этого у вас есть эти восемь байтов: 11011000, или же \x31\x31\x30\x31\x31\x30\x30\x30,

Вам не нужно делать все эти грязные вещи преобразования. Вы можете просто искать нужные шаблоны байтов, записывая их, используя \x шестнадцатеричные escape-последовательности. И вам даже не нужно регулярное выражение: простая строка .index или же .find методы могут сделать это легко и быстро.

with open(fname, 'rb') as f:
    data = f.read()

header = "\xff\xd8"
tail = "\xff\xd9"

try:
    start = data.index(header)
    end = data.index(tail, start) + 2
except ValueError:
    print "Can't find JPEG data!"
    exit()

print 'Start: %d End: %d Size: %d' % (start, end, end - start)

with open(fname + "_tr.jpg", 'wb') as f:
    f.write(data[start:end])

(Проверено на Python 2.6.6)

Однако извлечение встроенных данных JPEG, подобных этому, не является надежным, поскольку возможно, что эти последовательности заголовка и хвостового байта существуют в звуковых данных MP3.

---

FWIW, более простой способ перевода двоичных данных в шестнадцатеричные строки и обратно - это использовать hexlify и unhexlify из модуля binascii.

Вот несколько примеров выполнения этих преобразований как с функциями binascii, так и без них.

from binascii import hexlify, unhexlify

#Create a string of all possible byte values
allbytes = ''.join([chr(i) for i in xrange(256)])
print 'allbytes'
print repr(allbytes)

print '\nhex list'
print [hex(ord(v))[2:].zfill(2) for v in allbytes]
hexstr = hexlify(allbytes)

print '\nhex string'
print hexstr
newbytes = ''.join([chr(int(hexstr[i:i+2], 16)) for i in xrange(0, len(hexstr), 2)])

print '\nNew bytes'
print repr(newbytes)

print '\nUsing unhexlify'
print repr(unhexlify(hexstr))    

выход

allbytes
'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'

hex list
['00', '01', '02', '03', '04', '05', '06', '07', '08', '09', '0a', '0b', '0c', '0d', '0e', '0f', '10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '1a', '1b', '1c', '1d', '1e', '1f', '20', '21', '22', '23', '24', '25', '26', '27', '28', '29', '2a', '2b', '2c', '2d', '2e', '2f', '30', '31', '32', '33', '34', '35', '36', '37', '38', '39', '3a', '3b', '3c', '3d', '3e', '3f', '40', '41', '42', '43', '44', '45', '46', '47', '48', '49', '4a', '4b', '4c', '4d', '4e', '4f', '50', '51', '52', '53', '54', '55', '56', '57', '58', '59', '5a', '5b', '5c', '5d', '5e', '5f', '60', '61', '62', '63', '64', '65', '66', '67', '68', '69', '6a', '6b', '6c', '6d', '6e', '6f', '70', '71', '72', '73', '74', '75', '76', '77', '78', '79', '7a', '7b', '7c', '7d', '7e', '7f', '80', '81', '82', '83', '84', '85', '86', '87', '88', '89', '8a', '8b', '8c', '8d', '8e', '8f', '90', '91', '92', '93', '94', '95', '96', '97', '98', '99', '9a', '9b', '9c', '9d', '9e', '9f', 'a0', 'a1', 'a2', 'a3', 'a4', 'a5', 'a6', 'a7', 'a8', 'a9', 'aa', 'ab', 'ac', 'ad', 'ae', 'af', 'b0', 'b1', 'b2', 'b3', 'b4', 'b5', 'b6', 'b7', 'b8', 'b9', 'ba', 'bb', 'bc', 'bd', 'be', 'bf', 'c0', 'c1', 'c2', 'c3', 'c4', 'c5', 'c6', 'c7', 'c8', 'c9', 'ca', 'cb', 'cc', 'cd', 'ce', 'cf', 'd0', 'd1', 'd2', 'd3', 'd4', 'd5', 'd6', 'd7', 'd8', 'd9', 'da', 'db', 'dc', 'dd', 'de', 'df', 'e0', 'e1', 'e2', 'e3', 'e4', 'e5', 'e6', 'e7', 'e8', 'e9', 'ea', 'eb', 'ec', 'ed', 'ee', 'ef', 'f0', 'f1', 'f2', 'f3', 'f4', 'f5', 'f6', 'f7', 'f8', 'f9', 'fa', 'fb', 'fc', 'fd', 'fe', 'ff']

hex string
000102030405060708090a0b0c0d0e0f101112131415161718191a1b1c1d1e1f202122232425262728292a2b2c2d2e2f303132333435363738393a3b3c3d3e3f404142434445464748494a4b4c4d4e4f505152535455565758595a5b5c5d5e5f606162636465666768696a6b6c6d6e6f707172737475767778797a7b7c7d7e7f808182838485868788898a8b8c8d8e8f909192939495969798999a9b9c9d9e9fa0a1a2a3a4a5a6a7a8a9aaabacadaeafb0b1b2b3b4b5b6b7b8b9babbbcbdbebfc0c1c2c3c4c5c6c7c8c9cacbcccdcecfd0d1d2d3d4d5d6d7d8d9dadbdcdddedfe0e1e2e3e4e5e6e7e8e9eaebecedeeeff0f1f2f3f4f5f6f7f8f9fafbfcfdfeff

New bytes
'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'

Using unhexlify
'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'

Обратите внимание, что этот код нуждается в некоторых модификациях для запуска на Python 3 (кроме преобразования print заявления к print вызовы функций), потому что простые строки Python 3 являются строками Unicode, а не байтовыми строками.

Answer 2

Вам нужно выписать как двоичный файл

Пытаться:

txtfile = open(sys.argv[1] + "_tr.jpg", "wb")

Answer 3

Упс, вы делаете не то, что ожидаете. bin генерирует строку, содержащую значение в двоичной форме. Давайте посмотрим, что у вас есть, если содержимое входного файла было:

• saver является строкой шестнадцатеричных символов в текстовой форме, например, "313233414243" для начальной строки "132ABC"
• jpgcontents имеет тот же формат и начинается с "ffd8" и заканчивается "ffd9"
• Затем вы применяете волшебную формулу bin(int(jpgcontents, scale))[2:].zfill(numbits) тот
  • преобразовать строку гекса в длинное целое
  • преобразовать длинное целое число в строку двоичного представления - эта часть будет преобразовывать гекса "ff" в целое число 255 и заканчиваться строкой "0b11111111"
• удалите первые символы "0b" и заполните конец буфера, если необходимо

bitcontents затем строка, начинающаяся с "11111111....". Просто переименуйте ваш файл с расширением.txt и откройте его в текстовом редакторе, и вы увидите, что это большой файл, содержащий только символы ASCII 0 и 1.

Поскольку заголовок "ffd8", файл будет начинаться с 10 "1". Таким образом, ошибка, которая начинается с 0x31, 0x31, потому что 0x31 - это код ascii, равный "1".

Что вам нужно, это преобразовать строку гекса jpgcontents в двоичном байтовом массиве.

fileimage = ''.join([ jpgcontent[i:i+2] for i in range(0, len(jpgcontent), 2]

Затем вы можете безопасно скопировать буфер fileimage в двоичный файл:

file = open(sys.argv[1] + "_tr.jpg", "wb")
file.write(fileimage)

Answer 4

Самый простой способ - использовать модуль binascii: https://docs.python.org/2/library/binascii.html.

import binascii

# code in ascii format contained in a list
code = ['00', '01', '02', '03', '04', '05', '06', '07', '08', '09']

bfile = open('bfile.bin', 'w')

for c in code:
    # convert the ascii to binary and write it to the file
    bfile.write(binascii.unhexlify(c))

bfile.close()