Разбор ресурса Dbpedia в JAVA
С помощью DBpedia Spotlight я получаю URI DBpedia. Например
http://dbpedia.org/resource/Part-of-speech_tagging
Мне нужно запросить этот URI в Java, чтобы он мог вернуть мне некоторые json / xml, и я смогу извлечь необходимую информацию из ответа.
Например, в вышеупомянутом URI мне нужно значение dct:subject
Ниже приведен скриншот ответа, который я получаю в браузере.
2 ответа
В вашем вопросе недостаточно информации о том, чего вы пытаетесь достичь, чтобы обеспечить наилучший путь для достижения этой цели. Вы можете рассмотреть возможность использования Jena или RDF4J / Sesame Frameworks.
Или вы можете просто спросить конечную точку DBpedia о том, что вам нужно, будь то полное описание <http://dbpedia.org/resource/Part-of-speech_tagging> здесь, в JSON (как связано с меню "Форматы" в вашем screencap), или используя URI запроса SPARQL для запроса только dct:subject значения -
PREFIX dbr: <http://dbpedia.org/resource/>
SELECT DISTINCT ?subject
WHERE { dbr:Part-of-speech_tagging dct:subject ?subject }
LIMIT 100
- которые могут быть получены в различных сериализациях - здесь, в JSON.
Я не совсем уверен, какие значения вы ищете, но вы должны быть в состоянии сделать это без каких-либо зависимостей, чтобы очистить то, что вы хотите от источника страницы. Четыре метода Java, представленные ниже, должны дать вам то, что вам нужно (один метод - это метод поддержки).
Получение веб-страницы HTML Source:
Сначала мы получаем HTML-код веб-страницы с помощью метода getWebPageSource(). Этот метод получит весь исходный код HTML, который составляет веб-страницу, расположенную в предоставленной строке ссылок. Источник возвращается в объект интерфейса списка (List
String sourceLinkString = "http://dbpedia.org/resource/Part-of-speech_tagging";
List<String> pageSource = getWebPageSource(sourceLinkString);
Когда этот код выполняется, переменная pageSource List будет содержать весь исходный код HTML для предоставленной вами строки веб-ссылки, которая в данном случае: "http://dbpedia.org/resource/Part-of-speech_tagging", Если вам нравится, вы можете создать цикл для перебора списка и отобразить его в окне консоли с помощью метода System.out.println() следующим образом:
for (int i = 0; i < pageSource.size(); i++) {
System.out.println(pageSource.get(i));
}
Получение связанных ссылок с использованием строки ссылки:
Теперь, когда у вас есть источник веб-страницы, вы можете найти и получить нужные данные. Следующий метод - это метод getRelatedLinks(). Этот метод извлекает все ссылки, которые содержатся между специально предоставленными тегами String, где требуемые ссылки могут находиться между и связаны с предоставленной ссылочной строкой. В вашем случае ссылочная строка будет: "rel=\"dct:subject\"", Тег Строка Старт будет "href=\"" и тег конца строки будет "\">", Таким образом, любая строка источника веб-страницы, которая содержит строку ссылки "rel=\"dct:subject\"" и если на той же исходной строке предоставлена строка начального тега ("href=\"") и поставляемая строка конечного тега ("\">"), то текст между этими тегами извлекается. Пример использования будет:
String sourceLinkString = "http://dbpedia.org/resource/Part-of-speech_tagging";
List<String> pageSource = getWebPageSource(sourceLinkString);
String[] relatedLinksTo = getRelatedLinks("rel=\"dct:subject\"", pageSource, "href=\"", "\">");
Все ссылки, связанные со справочной строкой: "rel=\"dct:subject\"" теперь будет храниться в переменной String Array с именем relatedLinksTo. Если вам нужно перебрать массив и отобразить его содержимое в окне консоли:
// Display Related Links...
for (int i = 0; i < relatedLinksTo.length; i++) {
System.out.println(relatedLinksTo[i]);
}
ты увидишь:
http://dbpedia.org/resource/Category:Corpus_linguistics
http://dbpedia.org/resource/Category:Markov_models
http://dbpedia.org/resource/Category:Tasks_of_natural_language_processing
http://dbpedia.org/resource/Category:Word-sense_disambiguation
И если вам просто нужны заголовки, к которым относится каждая ссылка, а не вся строка ссылок, вы должны сделать это следующим образом:
// Display Related Links Titles...
for (int i = 0; i < relatedLinksTo.length; i++) {
String rLink = relatedLinksTo[i].substring(relatedLinksTo[i].lastIndexOf(":") + 1);
System.out.println(rLink);
}
и то, что вы увидите в окне консоли:
Corpus_linguistics
Markov_models
Tasks_of_natural_language_processing
Word-sense_disambiguation
Этот метод использует метод поддержки с именем getBetween(), также предоставленный ниже.
Получение конкретной ссылки из списка связанных ссылок:
Вы можете не хотеть весь список связанных ссылок, а просто одну или несколько конкретных ссылок на конкретный заголовок, например: Tasks_of_natural_language_processing, Чтобы получить эту одну или несколько ссылок, вы должны использовать метод getFromRelatedLinksThatContain(). Вот как вы могли бы добиться этого:
String sourceLinkString = "http://dbpedia.org/resource/Part-of-speech_tagging";
List<String> pageSource = getWebPageSource(sourceLinkString);
String[] relatedLinksTo = getRelatedLinks("rel=\"dct:subject\"", pageSource, "href=\"", "\">");
String[] desiredLinks = getFromRelatedLinksThatContain(relatedLinksTo, "Tasks_of_natural_language_processing");
Этот метод требует, чтобы вы передали то, что было возвращено из метода getRelatedLinks(), вместе с желаемым заголовком, для которого вы хотите установить ссылку (Tasks_of_natural_language_processing). Название должно быть фактическим текстом, содержащимся в любой ссылке. Если бы вы сейчас перебрали массив требуемый линк:
for (int i = 0; i < desiredLinks.length; i++) {
System.out.println(desiredLinks[i]);
}
В окне консоли отобразится следующая строка ссылок:
http://dbpedia.org/resource/Category:Tasks_of_natural_language_processing.
ИСПЫТАННЫЕ МЕТОДЫ:
/**
* Returns a List ArrayList containing the page source for the supplied web
* page link.<br><br>
*
* @param link (String) The URL address of the web page to process.<br>
*
* @return (List ArrayList) A List ArrayList containing the page source for
* the supplied web page link.
*/
public List<String> getWebPageSource(String webLink) {
if (webLink.equals("")) {
return null;
}
try {
URL url = new URL(webLink);
URLConnection yc;
//If url is a SSL Endpoint (using a Secure Socket Layer such as https)...
if (webLink.startsWith("https:")) {
yc = new URL(webLink).openConnection();
//send request for page data...
yc.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
yc.connect();
}
//and if not a SLL Endpoint (just http)...
else {
yc = url.openConnection();
}
InputStream inputStream = yc.getInputStream();
InputStreamReader streamReader = null;
String encoding = null;
try {
encoding = yc.getContentEncoding().toLowerCase();
}
catch (Exception ex) {
}
if (null == encoding) {
encoding = "UTF-8";
streamReader = new InputStreamReader(yc.getInputStream(), encoding);
}
else {
switch (encoding) {
case "gzip":
// Is compressed using GZip: Wrap the reader
inputStream = new GZIPInputStream(inputStream);
streamReader = new InputStreamReader(inputStream);
break;
//streamReader = new InputStreamReader(inputStream);
case "utf-8":
encoding = "UTF-8";
streamReader = new InputStreamReader(yc.getInputStream(), encoding);
break;
case "utf-16":
encoding = "UTF-16";
streamReader = new InputStreamReader(yc.getInputStream(), encoding);
break;
default:
break;
}
}
List<String> sourceText;
try (BufferedReader in = new BufferedReader(streamReader)) {
String inputLine;
sourceText = new ArrayList<>();
while ((inputLine = in.readLine()) != null) {
sourceText.add(inputLine);
}
}
return sourceText;
}
catch (MalformedURLException ex) {
// Do whatever you want with exception.
ex.printStackTrace();
}
catch (IOException ex) {
// Do whatever you want with exception.
ex.printStackTrace();
}
return null;
}
/**
* This method will retrieve all links which are contained between specifically
* supplied String Tags where the desired Links may reside between and are related
* to the supplied <b>Reference String</b>. A String Start Tag and a String End Tag
* would be required as well.<br><br>
*
* So, if any Web Page Source line that contains the Reference String of:<pre>
*
* "rel=\"dct:subject\""</pre><br>
*
* is looked at and if <i>on the same source line</i> the supplied Start Tag
* String (ie: "href=\"") and the supplied End Tag String (ie: "\">") are found then
* the text between those tags is retrieved.<br><br>
*
* This method utilizes the support method named <b>getBetween()</b>.<br><br>
*
* @param referenceString (String) The reference string to look for on any web
* page source line.<br>
*
* @param pageSource (List Interface of String) The List which contains all the
* HTML Web Page Source.<br>
*
* @param desiredLinkStartTag (String) The Start Tag String where the desired
* Link or links may reside after. This can be any string. Links are retrieved
* from between the Start Tag and the End Tag.<br>
*
* @param desiredLinkEndTag (String) The End Tag String where the desired
* Link or links may reside before. This can be any string. Links are retrieved
* from between the Start Tag and the End Tag.<br>
*
* @return (1D String Array) A String Array containing the Links Found.<br>
*
* @see #getBetween(java.lang.String, java.lang.String, java.lang.String, boolean...) getBetween()
*/
public String[] getRelatedLinks(String referenceString, List<String> pageSource,
String desiredLinkStartTag, String desiredLinkEndTag) {
List<String> links = new ArrayList<>();
for (int i = 0; i < pageSource.size(); i++) {
if (pageSource.get(i).contains(referenceString)) {
String[] lnks = getBetween(pageSource.get(i), desiredLinkStartTag, desiredLinkEndTag);
links.addAll(Arrays.asList(lnks));
}
}
return links.toArray(new String[0]);
}
/**
* Retrieves a specific Link from within the Related Links List generated by
* the <b>getRelatedLinks()</b> method.<br><br>
*
* This method requires the use of the <b>getRelatedLinks()</b> method.
*
* @param relatedArray (1D String Array) The array returned from the <b>getRelatedLinks()</b>
* method.<br>
*
* @param desiredStringInLink (String - Letter Case Sensitive) The string title
* contained within the link to retrieve.<br>
*
* @return (1D String Array) Containing any links found.<br>
*
* @see #getRelatedLinks(java.lang.String, java.util.List, java.lang.String, java.lang.String) getRelatedLinks()
*
*/
public String[] getFromRelatedLinksThatContain(String[] relatedArray, String desiredStringInLink) {
List<String> desiredLinks = new ArrayList<>();
for (int i = 0; i < relatedArray.length; i++) {
if (relatedArray[i].contains(desiredStringInLink)) {
desiredLinks.add(relatedArray[i]);
}
}
return desiredLinks.toArray(new String[0]);
}
/**
* Retrieves any string data located between the supplied string leftString
* parameter and the supplied string rightString parameter.<br><br>
* This method will return all instances of a substring located between the
* supplied Left String and the supplied Right String which may be found
* within the supplied Input String.<br>
*
* @param inputString (String) The string to look for substring(s) in.
*
* @param leftString (String) What may be to the Left side of the substring
* we want within the main input string. Sometimes the
* substring you want may be contained at the very
* beginning of a string and therefore there is no
* Left-String available. In this case you would simply
* pass a Null String ("") to this parameter which
* basically informs the method of this fact. Null can
* not be supplied and will ultimately generate a
* NullPointerException.
*
* @param rightString (String) What may be to the Right side of the
* substring we want within the main input string.
* Sometimes the substring you want may be contained at
* the very end of a string and therefore there is no
* Right-String available. In this case you would simply
* pass a Null String ("") to this parameter which
* basically informs the method of this fact. Null can
* not be supplied and will ultimately generate a
* NullPointerException.
*
* @param options (Optional - Boolean - 2 Parameters):<pre>
*
* ignoreLetterCase - Default is false. This option works against the
* string supplied within the leftString parameter
* and the string supplied within the rightString
* parameter. If set to true then letter case is
* ignored when searching for strings supplied in
* these two parameters. If left at default false
* then letter case is not ignored.
*
* trimFound - Default is true. By default this method will trim
* off leading and trailing white-spaces from found
* sub-string items. General sentences which obviously
* contain spaces will almost always give you a white-
* space within an extracted sub-string. By setting
* this parameter to false, leading and trailing white-
* spaces are not trimmed off before they are placed
* into the returned Array.</pre>
*
* @return (1D String Array) Returns a Single Dimensional String Array
* containing all the sub-strings found within the supplied Input
* String which are between the supplied Left String and supplied
* Right String. You can shorten this method up a little by
* returning a List<String> ArrayList and removing the 'List
* to 1D Array' conversion code at the end of this method. This
* method initially stores its findings within a List object
* anyways.
*/
public static String[] getBetween(String inputString, String leftString, String rightString, boolean... options) {
// Return nothing if nothing was supplied.
if (inputString.equals("") || (leftString.equals("") && rightString.equals(""))) {
return null;
}
// Prepare optional parameters if any supplied.
// If none supplied then use Defaults...
boolean ignoreCase = false; // Default.
boolean trimFound = true; // Default.
if (options.length > 0) {
if (options.length >= 1) {
ignoreCase = options[0];
}
if (options.length >= 2) {
trimFound = options[1];
}
}
// Remove any ASCII control characters from the
// supplied string (if they exist).
String modString = inputString.replaceAll("\\p{Cntrl}", "");
// Establish a List String Array Object to hold
// our found substrings between the supplied Left
// String and supplied Right String.
List<String> list = new ArrayList<>();
// Use Pattern Matching to locate our possible
// substrings within the supplied Input String.
String regEx = Pattern.quote(leftString)
+ (!rightString.equals("") ? "(.*?)" : "(.*)?")
+ Pattern.quote(rightString);
if (ignoreCase) {
regEx = "(?i)" + regEx;
}
Pattern pattern = Pattern.compile(regEx);
Matcher matcher = pattern.matcher(modString);
while (matcher.find()) {
// Add the found substrings into the List.
String found = matcher.group(1);
if (trimFound) {
found = found.trim();
}
list.add(found);
}
String[] res;
// Convert the ArrayList to a 1D String Array.
// If the List contains something then convert
if (list.size() > 0) {
res = new String[list.size()];
res = list.toArray(res);
} // Otherwise return Null.
else {
res = null;
}
// Return the String Array.
return res;
}
Или... Используйте SPARQL или любой другой желаемый парсер, такой как jSON.