Обработка суррогатных значений Unicode в строках Java

Question

Рассмотрим следующий код:

byte aBytes[] = { (byte)0xff,0x01,0,0,
                  (byte)0xd9,(byte)0x65,
                  (byte)0x03,(byte)0x04, (byte)0x05, (byte)0x06, (byte)0x07,
                  (byte)0x17,(byte)0x33, (byte)0x74, (byte)0x6f,
                   0, 1, 2, 3, 4, 5,
                   0 };
String sCompressedBytes = new String(aBytes, "UTF-16");
for (int i=0; i<sCompressedBytes.length; i++) {
    System.out.println(Integer.toHexString(sCompressedBytes.codePointAt(i)));
}

Получает следующий неверный вывод:

ff01, 0, fffd, 506, 717, 3374, 6f00, 102, 304, 500.

Однако если 0xd9 во входных данных изменяется на 0x9dтогда получается следующий правильный вывод:

ff01, 0, 9d65, 304, 506, 717, 3374, 6f00, 102, 304, 500.

Я понимаю, что функциональность из-за того, что байт 0xd9 является суррогатным маркером Unicode.

Вопрос: есть ли способ кормить, идентифицировать и извлекать суррогатные байты (0xd800 в 0xdfff) в строке Java Unicode?
Спасибо

Answer 1

Есть ли способ подачи, идентификации и извлечения суррогатных байтов (от 0xd800 до 0xdfff) в строке Java Unicode?

Просто потому, что никто не упомянул об этом, я укажу, что класс Character включает методы для работы с суррогатными парами. Например, isHighSurrogate (char), codePointAt (CharSequence, int) и toChars (int). Я осознаю, что это помимо сути заявленной проблемы.

new String(aBytes, "UTF-16");

Это операция декодирования, которая преобразует входные данные. Я почти уверен, что это недопустимо, потому что выбранная операция декодирования требует, чтобы ввод начинался с 0xfe 0xff или 0xff 0xfe ( метка порядка байтов). Кроме того, не каждое возможное значение байта может быть правильно декодировано, потому что UTF-16 является кодированием с переменной шириной.

Если вы хотите симметричное преобразование произвольных байтов в строку и обратно, лучше использовать 8-битную однобайтовую кодировку, потому что каждое значение байта является допустимым символом:

Charset iso8859_15 = Charset.forName("ISO-8859-15");
byte[] data = new byte[256];
for (int i = Byte.MIN_VALUE; i <= Byte.MAX_VALUE; i++) {
  data[i - Byte.MIN_VALUE] = (byte) i;
}
String asString = new String(data, iso8859_15);
byte[] encoded = asString.getBytes(iso8859_15);
System.out.println(Arrays.equals(data, encoded));

Примечание: количество символов будет равно количеству байтов (удвоение размера данных); результирующая строка не обязательно будет пригодна для печати (как бы она могла содержать набор управляющих символов).

Я с Джоном, хотя - помещать произвольные последовательности байтов в строки Java почти всегда плохая идея.

Answer 2

РЕДАКТИРОВАТЬ: Это отвечает на вопрос из комментария

Если вы хотите закодировать произвольные двоичные данные в строку, вы не должны использовать обычную кодировку текста. У вас нет корректного текста в этой кодировке - у вас просто произвольные двоичные данные.

Base64 - это путь сюда. В Java нет поддержки base64 напрямую (во всяком случае, в открытом классе), но есть различные сторонние библиотеки, которые вы можете использовать, например, библиотека в кодеке Apache Commons.

Да, base64 увеличит размер данных, но позволит позже декодировать их без потери информации.

РЕДАКТИРОВАТЬ: Это обращается к первоначальному вопросу

Я считаю, что проблема в том, что вы не указали правильную суррогатную пару. Вы должны указать байты, представляющие низкий суррогат, а затем высокий суррогат. После этого вы сможете добавить соответствующий код. В вашем случае вы дали низкий суррогат сам по себе.

Вот код, чтобы продемонстрировать это:

public class Test
{
    public static void main(String[] args)
        throws Exception // Just for simplicity
    {
        byte[] data = 
        {
            0, 0x41, // A
            (byte) 0xD8, 1, // High surrogate
            (byte) 0xDC, 2, // Low surrogate
            0, 0x42, // B
        };

        String text = new String(data, "UTF-16");

        System.out.printf("%x\r\n", text.codePointAt(0));
        System.out.printf("%x\r\n", text.codePointAt(1));
        // Code point at 2 is part of the surrogate pair
        System.out.printf("%x\r\n", text.codePointAt(3));       
    }
}

Выход:

41
10402
42