Java URL java.net.ConnectException Ошибка (Ping работает, и другие URL работают)

Question

Я пишу программу, которая считывает некоторые идентификаторы из списка, вычисляет различные URL-адреса из них и сохраняет изображения на моем диске C:.

URL-адреса изображений работают, если я перехожу к ним в своем браузере. Кроме того, если я пытаюсь URL-адреса изображений с другого сервера, эта программа работает полностью. Проблема заключается в том, что, когда я пытаюсь подключиться к определенным изображениям по этому URL-адресу, он не работает. Странная вещь, когда я пингую URL-адрес, я получаю 0% потери пакетов. Кроме того, мой браузер не использует специальные настройки прокси, которые могли бы заставить его работать над программой Java.

Что может быть причиной ошибки / вывода ниже?

Job started ...
1) AC_0A47_EXT1.jpg 2/0/47/307/398/HA47H01_H.jpg
Exception #3 java.net.ConnectException: Connection timed out: connect
at java.net.DualStackPlainSocketImpl.connect0(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)
at java.net.AbstractPlainSocketImpl.connect(Unknown Source)
at java.net.PlainSocketImpl.connect(Unknown Source)
at java.net.SocksSocketImpl.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at sun.net.NetworkClient.doConnect(Unknown Source)
at sun.net.www.http.HttpClient.openServer(Unknown Source)
at sun.net.www.http.HttpClient.openServer(Unknown Source)
at sun.net.www.http.HttpClient.<init>(Unknown Source)
at sun.net.www.http.HttpClient.New(Unknown Source)
at sun.net.www.http.HttpClient.New(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.connect(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
at java.net.URL.openStream(Unknown Source)
at pullVFMImagesFromVFMURLs.writeImage(pullVFMImagesFromVFMURLs.java:99)
at pullVFMImagesFromVFMURLs.pullvfmimagesfromvfmurls(pullVFMImagesFromVFMURLs.java:48)
at pullVFMImagesFromVFMURLs.main(pullVFMImagesFromVFMURLs.java:21)

Больше информации:

Список идентификаторов (MissingImagez.txt) выглядит следующим образом:

AC_0A47_EXT1.jpg|2/0/47/307/398/xxx.jpg
AC_0C09_EXT1.jpg|3/0/44/130/589/xyz.jpg
AC_0C16_RM1.jpg|3/0/44/602/895/zzz.jpg
AC_0C17_BAR1.jpg|3/0/45/284/10/www.jpg

и соответствующий код выглядит следующим образом:

  public static void main(String[] args)
  {
    pullImagesFromURLs processor = new pullImagesFromURLs();

    String passParam = null;

    for (int i = 0; i < args.length; i++)
       passParam = (args[i].toString().toUpperCase());

    processor.pullvfmimagesfromvfmurls(passParam);
  }

  public void pullvfmimagesfromvfmurls(String passParam)
  {
    System.out.println("Job started ...");

    try
    {     
       boolean bOK = false;
       String sOrigName = "";
       String sURL = ""; 
       int iCount = 0;
       int iInt = 0;

       try
       {
          BufferedReader in = new BufferedReader(new FileReader("/tmp/missingImagez.txt"));
          String str;

          while ((str = in.readLine()) != null)
          {       
             iInt = str.indexOf("|");     
             sOrigName = str.substring(0,iInt);
             sURL = str.substring(iInt+1);
             iCount ++;
             System.out.println(iCount + ") " + sOrigName + " " + sURL);
             bOK = writeImage(sOrigName, sURL);         
          }           

          try
          {
             if (in != null)
                in.close();             
          }      
          catch (Exception e)
          {
          }

       }
       catch (IOException e)
       {
         System.out.println("Exception #1 " + e);
       }
    }

    catch (Exception e)
    {
       System.out.println("Exception #2 " + e);
       System.exit(-666);
    }

    System.out.println("Job completed");

    System.exit(-666);

  } 
 private static boolean writeImage(String origName, String vfmURL) 
  {

    boolean bOK = true;
    String sPath = "C:/images/img2754/";

    try
    {
       final String vfmURLPrefix = new String("http://www.blah.blah2.com/imageRepo/");

       BufferedInputStream stream = null; 
       FileOutputStream destination = null;
       URLConnection urlc = null;
       int readSize = 1024 * 50;
       int bytes_read;
       URL url = null;

        url = new URL(vfmURLPrefix + vfmURL);
        urlc = url.openConnection();
        urlc.setDoOutput(true);
        stream = new BufferedInputStream(url.openStream());
        System.out.println(url.toString());
        destination = new FileOutputStream(sPath+origName);
        byte[] buffer = new byte[readSize];

        while(true)
        {       

           bytes_read = stream.read(buffer);
           if (bytes_read == -1) {break;}
             destination.write(buffer, 0, bytes_read);
             stream.close(); 
        }

        if(stream != null)
            stream.close();

        if(destination != null) 
           destination.close();

    }

    catch(Exception e)
    {
       System.out.println("Exception #3 " + e);
    }
    return bOK;

  }

Пробовал использовать Apache HttpComponents. Получите следующий вывод: Хорошо - я попробовал это... теперь я получаю:

Exception #3     org.apache.http.conn.HttpHostConnectException: Connection to http://www.blah.blah2.com/ refused. 
    at org.apache.http.impl.conn.DefaultClientConnectionOperator.openConnection(DefaultClientConnectionOperator.java:190)
        at org.apache.http.impl.conn.ManagedClientConnectionImpl.open(ManagedClientConnectionImpl.java:294)
        at org.apache.http.impl.client.DefaultRequestDirector.tryConnect(DefaultRequestDirector.java:640)
        at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:479)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:906)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:805)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:784)
        at pullVFMImagesFromVFMURLs.writeImage(pullVFMImagesFromVFMURLs.java:100)
        at pullVFMImagesFromVFMURLs.pullvfmimagesfromvfmurls(pullVFMImagesFromVFMURLs.java:55)
        at pullVFMImagesFromVFMURLs.main(pullVFMImagesFromVFMURLs.java:28)
    Caused by: java.net.ConnectException: Connection timed out: connect
        at java.net.DualStackPlainSocketImpl.connect0(Native Method)
        at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)
        at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)
        at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)
        at java.net.AbstractPlainSocketImpl.connect(Unknown Source)
        at java.net.PlainSocketImpl.connect(Unknown Source)
        at java.net.SocksSocketImpl.connect(Unknown Source)
        at java.net.Socket.connect(Unknown Source)
        at org.apache.http.conn.scheme.PlainSocketFactory.connectSocket(PlainSocketFactory.java:127)
        at org.apache.http.impl.conn.DefaultClientConnectionOperator.openConnection(DefaultClientConnectionOperator.java:180)
        ... 9 more

Answer 1

РЕДАКТИРОВАТЬ 2

Ваш код содержит ошибку в цикле чтения. InputStream.read не обязательно возвращает весь полученный поток байтов. (Возможно, он еще не все доступен.) Как вы его закодировали, входной поток часто будет преждевременно закрыт. Это приводит к иной ошибке ("поток закрыт"), чем то, что вы опубликовали.

В любом случае, после исправления вашего цикла, я смог без проблем запустить ваш код для загрузки этого образа.

оригинал

Кроме того, ваш код немного запутанный. В частности, ваш код создает URLConnection, но открывает поток непосредственно из URL. URLConnection в основном не используется. Это также сбивает с толку, потому что вы вызываете setDoOutput, но не setDoInput. Я бы переписал ваш код больше так:

url = new URL(vfmURLPrefix + vfmURL);
urlc = url.openConnection();
stream = new BufferedInputStream(urlc.getInputStream()); // connect/request will be made.

Я сомневаюсь, что это решит вашу текущую проблему, хотя. Чтобы устранить вашу текущую проблему, я бы порекомендовал использовать Firebug или Chrome Developer Tools, чтобы прослушивать сетевое соединение / запрос / ответ, когда вы запрашиваете тот же URL-адрес изображения в браузере. Вы можете обнаружить неожиданные перенаправления, коды состояния, файлы cookie и т. П. Имея эти дополнительные знания, вы можете попытаться преобразовать соединение в HttpURLConnection, чтобы у вас было больше возможностей для настройки запроса.

Answer 2

Когда с вашим веб-браузером все в порядке и проблема с вашим приложением, попробуйте добавить user-agent в запрос java, как показано ниже:

request.setHeader("User-Agent","Mozilla/3.0");

Answer 3

Могут возникнуть несколько проблем: 1. Вы должны войти в систему. 2. Для получения изображений необходим файл cookie. 3. Запрос URL() не соответствует запросу браузера. ...

Попробуйте смоделировать настоящий браузер, используя

  Apache HttpComponents

С уважением