Как вы программно загружаете веб-страницу на Java?
Я хотел бы иметь возможность получить HTML-код веб-страницы и сохранить его в Stringтак что я могу сделать некоторую обработку на нем. Кроме того, как я могу справиться с различными типами сжатия.
Как бы я поступил так с помощью Java?
11 ответов
Вот некоторый протестированный код, использующий класс URL Java. Я бы порекомендовал сделать лучшую работу, чем я здесь, по обработке исключений или передаче их в стек вызовов.
public static void main(String[] args) {
URL url;
InputStream is = null;
BufferedReader br;
String line;
try {
url = new URL("http://stackru.com/");
is = url.openStream(); // throws an IOException
br = new BufferedReader(new InputStreamReader(is));
while ((line = br.readLine()) != null) {
System.out.println(line);
}
} catch (MalformedURLException mue) {
mue.printStackTrace();
} catch (IOException ioe) {
ioe.printStackTrace();
} finally {
try {
if (is != null) is.close();
} catch (IOException ioe) {
// nothing to see here
}
}
}
Я бы использовал приличный HTML-парсер, такой как Jsoup. Это так же просто, как:
String html = Jsoup.connect("http://stackru.com").get().html();
Он полностью прозрачно обрабатывает GZIP и чанкованные ответы и кодировку символов. Он также предлагает больше преимуществ, таких как HTML- обход и манипуляции с помощью селекторов CSS, как это делает jQuery. Вам нужно только взять его как Documentне как String,
Document document = Jsoup.connect("http://google.com").get();
Вы действительно не хотите запускать базовые методы String или даже выполнять регулярные выражения в HTML для его обработки.
Смотрите также:
Ответ Билла очень хороший, но вы можете сделать некоторые вещи с запросом, такие как сжатие или пользовательские агенты. Следующий код показывает, как вы можете использовать различные типы сжатия для ваших запросов.
URL url = new URL(urlStr);
HttpURLConnection conn = (HttpURLConnection) url.openConnection(); // Cast shouldn't fail
HttpURLConnection.setFollowRedirects(true);
// allow both GZip and Deflate (ZLib) encodings
conn.setRequestProperty("Accept-Encoding", "gzip, deflate");
String encoding = conn.getContentEncoding();
InputStream inStr = null;
// create the appropriate stream wrapper based on
// the encoding type
if (encoding != null && encoding.equalsIgnoreCase("gzip")) {
inStr = new GZIPInputStream(conn.getInputStream());
} else if (encoding != null && encoding.equalsIgnoreCase("deflate")) {
inStr = new InflaterInputStream(conn.getInputStream(),
new Inflater(true));
} else {
inStr = conn.getInputStream();
}
Чтобы также установить user-agent, добавьте следующий код:
conn.setRequestProperty ( "User-agent", "my agent name");
Ну, вы могли бы пойти со встроенными библиотеками, такими как URL и URLConnection, но они не дают большого контроля.
Лично я бы пошел с библиотекой Apache HTTPClient.
Изменить: HTTPClient был установлен на конец жизни Apache. Замена: HTTP Компоненты
Все вышеперечисленные подходы не загружают текст веб-страницы так, как он выглядит в браузере. В настоящее время большая часть данных загружается в браузеры с помощью скриптов на HTML-страницах. Ни один из вышеперечисленных методов не поддерживает скрипты, они просто загружают только HTML-текст. HTMLUNIT поддерживает JavaScript. поэтому, если вы хотите загрузить текст веб-страницы так, как он выглядит в браузере, вам следует использовать HTMLUNIT.
Вот пример загрузки HTML-файла с веб-страницы https. В следующем примере HTML-файл сохраняется в папке c:\temp\filename.html. Наслаждайтесь!
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import javax.net.ssl.HttpsURLConnection;
/**
* <b>Get the Html source from the secure url </b>
*/
public class HttpsClientUtil {
public static void main(String[] args) throws Exception {
String httpsURL = "https://stackru.com";
String FILENAME = "c:\\temp\\filename.html";
BufferedWriter bw = new BufferedWriter(new FileWriter(FILENAME));
URL myurl = new URL(httpsURL);
HttpsURLConnection con = (HttpsURLConnection) myurl.openConnection();
con.setRequestProperty ( "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" );
InputStream ins = con.getInputStream();
InputStreamReader isr = new InputStreamReader(ins, "Windows-1252");
BufferedReader in = new BufferedReader(isr);
String inputLine;
// Write each line into the file
while ((inputLine = in.readLine()) != null) {
System.out.println(inputLine);
bw.write(inputLine);
}
in.close();
bw.close();
}
}
Для этого с помощью NIO.2 мощный Files.copy(InputStream in, Path target):
URL url = new URL( "http://download.me/" );
Files.copy( url.openStream(), Paths.get("downloaded.html" ) );
На Unix/Linux box вы можете просто запустить 'wget', но это не совсем вариант, если вы пишете кроссплатформенный клиент. Конечно, это предполагает, что вы на самом деле не хотите много делать с данными, которые вы загружаете между моментом их загрузки и попадания на диск.
Получить справку из этого класса, получить код и отфильтровать некоторую информацию.
public class MainActivity extends AppCompatActivity {
EditText url;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate( savedInstanceState );
setContentView( R.layout.activity_main );
url = ((EditText)findViewById( R.id.editText));
DownloadCode obj = new DownloadCode();
try {
String des=" ";
String tag1= "<div class=\"description\">";
String l = obj.execute( "http://www.nu.edu.pk/Campus/Chiniot-Faisalabad/Faculty" ).get();
url.setText( l );
url.setText( " " );
String[] t1 = l.split(tag1);
String[] t2 = t1[0].split( "</div>" );
url.setText( t2[0] );
}
catch (Exception e)
{
Toast.makeText( this,e.toString(),Toast.LENGTH_SHORT ).show();
}
}
// input, extrafunctionrunparallel, output
class DownloadCode extends AsyncTask<String,Void,String>
{
@Override
protected String doInBackground(String... WebAddress) // string of webAddress separate by ','
{
String htmlcontent = " ";
try {
URL url = new URL( WebAddress[0] );
HttpURLConnection c = (HttpURLConnection) url.openConnection();
c.connect();
InputStream input = c.getInputStream();
int data;
InputStreamReader reader = new InputStreamReader( input );
data = reader.read();
while (data != -1)
{
char content = (char) data;
htmlcontent+=content;
data = reader.read();
}
}
catch (Exception e)
{
Log.i("Status : ",e.toString());
}
return htmlcontent;
}
}
}
У Jetty есть HTTP-клиент, который можно использовать для загрузки веб-страницы.
package com.zetcode;
import org.eclipse.jetty.client.HttpClient;
import org.eclipse.jetty.client.api.ContentResponse;
public class ReadWebPageEx5 {
public static void main(String[] args) throws Exception {
HttpClient client = null;
try {
client = new HttpClient();
client.start();
String url = "http://www.something.com";
ContentResponse res = client.GET(url);
System.out.println(res.getContentAsString());
} finally {
if (client != null) {
client.stop();
}
}
}
}
В примере печатается содержимое простой веб-страницы.
В учебном пособии " Чтение веб-страницы на Java" я написал шесть примеров программной загрузки веб-страницы на Java с использованием URL, JSoup, HtmlCleaner, Apache HttpClient, Jetty HttpClient и HtmlUnit.
Попробуйте использовать библиотеку jsoup.
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class ParseHTML {
public static void main(String args[]) throws IOException{
Document doc = Jsoup.connect("https://www.wikipedia.org/").get();
String text = doc.body().text();
System.out.print(text);
}
}
Вы можете скачать библиотеку jsoup здесь.
Я использовал фактический ответ на этот пост ( URL) и записал вывод в файл.
package test;
import java.net.*;
import java.io.*;
public class PDFTest {
public static void main(String[] args) throws Exception {
try {
URL oracle = new URL("http://www.fetagracollege.org");
BufferedReader in = new BufferedReader(new InputStreamReader(oracle.openStream()));
String fileName = "D:\\a_01\\output.txt";
PrintWriter writer = new PrintWriter(fileName, "UTF-8");
OutputStream outputStream = new FileOutputStream(fileName);
String inputLine;
while ((inputLine = in.readLine()) != null) {
System.out.println(inputLine);
writer.println(inputLine);
}
in.close();
} catch(Exception e) {
}
}
}