Spring Boot + Azure SDK, дополнительные символы в конце файла при копировании в учетную запись хранилища Azure

Question

Некоторые дополнительные символы добавляются в конец файла после загрузки файла в учетную запись хранения. И нет проблем с файлом 1,33 ГБ, заметил разницу в размере для файла 2,22 ГБ. Ниже приведен фрагмент кода и подробные сведения о pom.xml.

как это решить? дайте мне знать, что вам нужны подробности.

Код:

      private boolean upload(final MultipartFile file) throws IOException {           
BlobClientBuilder blobClientBuilder = new BlobClientBuilder();
blobClientBuilder.endpoint(STORAGE_URL).connectionString(storageConnectionString);          blobClientBuilder.containerName(CONTAINER_NAME);
BlobClient blobClient = blobClientBuilder.blobName(file.getOriginalFilename()).buildClient();
blobClient.upload(file.getInputStream(), file.getSize());
boolean uploadStatus = blobClient.exists();

pom.xml:

      <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.5.2</version>
        <relativePath /> <!-- lookup parent from repository -->
    </parent>
<dependency>
            <groupId>com.azure</groupId>
            <artifactId>azure-core</artifactId>
            <version>1.18.0</version>
        </dependency>
        <dependency>
            <groupId>com.azure</groupId>
            <artifactId>azure-storage-blob</artifactId>
            <version>12.12.0</version>
            <exclusions>
                <exclusion>
                    <groupId>io.projectreactor</groupId>
                    <artifactId>reactor-core</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- https://mvnrepository.com/artifact/io.projectreactor/reactor-core -->
        <dependency>
            <groupId>io.projectreactor</groupId>
            <artifactId>reactor-core</artifactId>
            <version>3.4.8</version>
            <!--$NO-MVN-MAN-VER$ -->
            <!-- Please don't remove/degrade the version, possible for compatibility 
                issues -->
        </dependency>

        <!-- https://mvnrepository.com/artifact/io.projectreactor.netty/reactor-netty -->
        <dependency>
            <groupId>io.projectreactor.netty</groupId>
            <artifactId>reactor-netty</artifactId>
            <version>1.0.9</version>
            <!--$NO-MVN-MAN-VER$ -->
            <!-- Please don't remove/degrade the version, possible for compatibility 
                issues -->
        </dependency>

Файл 1,33 ГБ загружен правильно, но 2,22 ГБ показывает некоторые лишние символы, что приводит к увеличению размера файла в байтах

Answer 1

Спасибо @ShrutiJoshi-MT за ваш фрагмент кода.

Я не уверен, почему он работает с методом uploadFromFile и имеет проблемы с методом загрузки BlobClient. Ниже приведен последний код, который я использую, он работает для разных расширений файлов. Если кто-нибудь обнаружит ошибку или у вас есть предложения по приведенному ниже коду, дайте мне знать, это мне очень помогает.

Сначала скопируйте Multipartfile в локальный файл, а затем укажите путь.

      public boolean uploadWithFile(final MultipartFile multipartFile) throws Exception {
        logger.info("uploadWithFile started");
        File file = null;
        try {
            String fileName = multipartFile.getOriginalFilename();
            file = new File(fileName);
            logger.info("uploadWithFile fileName: {}", fileName);
            Path path = Paths.get(fileName);
            logger.debug("Copying from MultipartFile to file");
            try (InputStream inputStream = multipartFile.getInputStream()) {
                Files.copy(inputStream, path, StandardCopyOption.REPLACE_EXISTING);
            }
            logger.debug("Copied from MultipartFile to file");
            String filePath = file.getPath();
            logger.debug("Copied file name: {}", file.getName());
            logger.debug("Copied file Path: {}", filePath);
            logger.debug("Copied file length: {}", file.length());
            
            String containerName = "temp";
            String storageConnectionString = "<primarykey> or <secondarykey>";
            BlobClientBuilder blobClientBuilder = new BlobClientBuilder();
            blobClientBuilder.endpoint(STORAGE_URL).connectionString(storageConnectionString);
            blobClientBuilder.containerName(containerName);
            BlobClient blobClient = blobClientBuilder.blobName(fileName).buildClient();
            logger.debug("uploading to storage account");
            blobClient.uploadFromFile(filePath);
            logger.debug("uploaded to storage account");
            boolean uploadStatus = blobClient.exists();
            logger.debug("uploaded status : {}", uploadStatus);
            logger.info("uploadWithFile ended");
            return uploadStatus;
        } catch (Exception exception) {
            logger.error("uploadWithFile upload failed: {}", exception);
            throw exception;
        } finally {
            if (Objects.nonNull(file) && file.exists()) {
                logger.debug("delete file: {}", file.getName());
                file.delete();
                logger.debug("deleted file: {}", file.getName());
            }
        }
    }```

Answer 2

Вместо того, чтобы загружать большой файл напрямую, загрузите его в zip-архиве или патронах.

Попробуйте с этим кодом

      public static void uploadFilesByChunk() {
                String connString = "<conn str>";
                String containerName = "<container name>";
                String blobName = "UploadOne.zip";
                String filePath = "D:/temp/" + blobName;

                BlobServiceClient client = new BlobServiceClientBuilder().connectionString(connString).buildClient();
                BlobClient blobClient = client.getBlobContainerClient(containerName).getBlobClient(blobName);
                long blockSize = 2 * 1024 * 1024; //2MB
                ParallelTransferOptions parallelTransferOptions = new ParallelTransferOptions()
                                .setBlockSizeLong(blockSize).setMaxConcurrency(2)
                                .setProgressReceiver(new ProgressReceiver() {
                                        @Override
                                        public void reportProgress(long bytesTransferred) {
                                                System.out.println("uploaded:" + bytesTransferred);
                                        }
                                });

                BlobHttpHeaders headers = new BlobHttpHeaders().setContentLanguage("en-US").setContentType("binary");

                blobClient.uploadFromFile(filePath, parallelTransferOptions, headers, null, AccessTier.HOT,
                                new BlobRequestConditions(), Duration.ofMinutes(30));
        }

Для получения более подробной информации обратитесь к этой теме SO