Извлеките таблицу HTML в R, но пропустите определенные элементы (<br>) в одном определенном столбце, который имеет три строки / строки, в многостраничном HTML

Я хочу загрузить таблицу в ссылку в dataframe в R.

Следующий скрипт успешно извлекает таблицу:

install.packages("htmltab")
library(htmltabl)
url <- "http://www.hmdb.ca/metabolites?utf8=✓&filter=true&toxin=1&filter=true"
hm_ext <- htmltab(url)

Но вот проблема:

> head(hm_ext)
     HMDB ID CAS Number        Name FormulaAverage Mass Monoisotopic Mass                                           Biospecimen Location
2    HMDB000014264-18-6 Formic acid              CH2O246.025446.005479308 BloodBreast MilkCerebrospinal Fluid (CSF)FecesSalivaSweatUrine
3   HMDB0000228108-95-2      Phenol              C6H6O94.111294.041864814                                     BloodFecesSalivaSweatUrine
4 HMDB000059818496-25-8     Sulfide                    S32.06531.97207069                                                          Blood
5  HMDB00005997440-47-3    Chromium                 Cr51.996151.940511904                      BloodCerebrospinal Fluid (CSF)SalivaUrine
6  HMDB00006577440-50-8      Copper                  Cu63.54662.929601079                      BloodCerebrospinal Fluid (CSF)SalivaUrine
7  HMDB00006627782-41-4    Fluoride                  F18.998418.998403205                                               BloodSalivaUrine

Третий столбец, т.е. Formula Average Mass Monoisotopic Mass, имеет три строки / значения / строки, и все они смешаны вместе и, таким образом, отображаются как одна непрерывная строка. Я только хочу извлечь первую строку / строку в этом столбце ИЛИ как-то отделить три значения друг от друга.

Вот как выглядит первая ячейка третьего столбца на визуализированной html-странице:

скриншот третьей колонки

То же самое происходит, если я использую XML::readHTMLTable,

Когда я нажимаю на Inspect Element в Chrome, я вижу такую ​​структуру для ячейки в Formula Average Mass Monoisotopic Mass колонка:

<td class="weight-value">CH<sub>2</sub>O<sub>2</sub><br><br>46.0254<br>46.005479308</td>

изображение - пожалуйста, вставьте его. У меня недостаточно репутации, чтобы сделать это

Однако бывают и другие случаи, когда вторая и третья строки в этом столбце пусты. Пример:

<td class="weight-value">(C<sub>12</sub>H<sub>19</sub>NO<sub>19</sub>S<sub>3</sub>)nH<sub>2</sub>O<br><br><span class="wishart wishart-not-available">Not Available</span><br></td>

изображение - скриншот Inspect Element

Так как же извлечь таблицу из заданной ссылки, но сохранить структуру третьего столбца читаемой и не перепутанной? И, кроме того, можно ли извлечь таблицы на всех страницах, не просматривая ссылки для каждой отдельной страницы?

Источник

1 ответ

Решение

Один из подходов может быть

library(rvest)
library(qdapRegex)
library(XML)

#read webpage
htm_data <- read_html("http://www.hmdb.ca/metabolites?tf8=%E2%9C%93&filter=true&toxin=1&filter=true") 

#convert above webpage's table into a dataframe
df <- html_table(html_nodes(htm_data, "table"))[[1]]

#cleanup data in the required column
df[, 4] <- unlist(lapply(rm_between(xml_find_all(htm_data, "//table/tbody/tr/td[4]"), 
                                    ">", 
                                    "<br><br>", extract=TRUE), 
                         function(x) gsub("<.*?>", "", x[[1]])))

который дает

> head(df)
    HMDB ID  CAS Number        Name Structure FormulaAverage Mass Monoisotopic Mass
1    HMDB000014264-18-6 Formic acid        NA                                 CH2O2
2   HMDB0000228108-95-2      Phenol        NA                                 C6H6O
3 HMDB000059818496-25-8     Sulfide        NA                                     S
4  HMDB00005997440-47-3    Chromium        NA                                    Cr
5  HMDB00006577440-50-8      Copper        NA                                    Cu
6  HMDB00006627782-41-4    Fluoride        NA                                     F
                                            Biospecimen Location
1 BloodBreast MilkCerebrospinal Fluid (CSF)FecesSalivaSweatUrine
2                                     BloodFecesSalivaSweatUrine
3                                                          Blood
4                      BloodCerebrospinal Fluid (CSF)SalivaUrine
5                      BloodCerebrospinal Fluid (CSF)SalivaUrine
6                                               BloodSalivaUrine
Источник
Другие вопросы по тегам