jclouds IOExpection: Ошибка записи тела запроса на сервер

Question

Мы используем jclouds с Rackspace и при загрузке большого количества файлов через cloudfile api (multi threaded)

Время от времени мы получаем исключение на objectApi.put строка (см. пример кода внизу)

исключение

16-Jul-2015 11:58:00.811 SEVERE [threadsPool-1]      org.jclouds.logging.jdk.JDKLogger.logError error after writing 8192/streaming bytes to https://*****/****.jpg
 java.io.IOException: Error writing request body to server
        at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.checkError(HttpURLConnection.java:3478)
        at sun.net.www.protocol.http.HttpURLConnection$StreamingOutputStream.write(HttpURLConnection.java:3461)
        at com.google.common.io.CountingOutputStream.write(CountingOutputStream.java:53)
        at com.google.common.io.ByteStreams.copy(ByteStreams.java:74)
        at org.jclouds.http.internal.JavaUrlHttpCommandExecutorService.writePayloadToConnection(JavaUrlHttpCommandExecutorService.java:297)
        at org.jclouds.http.internal.JavaUrlHttpCommandExecutorService.convert(JavaUrlHttpCommandExecutorService.java:160)
        at org.jclouds.http.internal.JavaUrlHttpCommandExecutorService.convert(JavaUrlHttpCommandExecutorService.java:64)
        at org.jclouds.http.internal.BaseHttpCommandExecutorService.invoke(BaseHttpCommandExecutorService.java:91)
        at org.jclouds.rest.internal.InvokeHttpMethod.invoke(InvokeHttpMethod.java:90)
        at org.jclouds.rest.internal.InvokeHttpMethod.apply(InvokeHttpMethod.java:73)
        at org.jclouds.rest.internal.InvokeHttpMethod.apply(InvokeHttpMethod.java:44)
        at org.jclouds.reflect.FunctionalReflection$FunctionalInvocationHandler.handleInvocation(FunctionalReflection.java:117)
        at com.google.common.reflect.AbstractInvocationHandler.invoke(AbstractInvocationHandler.java:87)
        at com.sun.proxy.$Proxy176.put(Unknown Source)
        at

Подобная проблема с S3

можно найти здесь

Пример кода

ObjectApi objectApi = cloudFiles.getObjectApi(REGION, container);
ByteSource byteSource = Files.asByteSource(file);
Payload payload = Payloads.newByteSourcePayload(byteSource);
objectApi.put(hashedName, payload);

Вопрос:

У кого-нибудь есть такое поведение? может быть, у кого-то есть решение этой проблемы?

Спасибо

Alon

Answer 1

Сети ненадежны, поэтому ожидайте некоторых исключений при использовании облачных сервисов, особенно при работе со многими файлами. Специально для загрузки jclouds у нас есть пример кода:

https://github.com/jclouds/jclouds-examples/tree/master/blobstore-uploader

Изменить: Я также добавил проблему JIRA, чтобы убедиться, что мы добавили тест специально для этой ситуации в swift:

https://issues.apache.org/jira/browse/JCLOUDS-965