Чтение из буфера C

Question

Я пытаюсь создать простую программу c, которая удаляет HTML-код с веб-страницы и сохраняет текст. До сих пор я придумал код ниже. Он использует cURL, чтобы получить содержимое веб-страницы и записать его в файл. Как пройти через буфер памяти и удалить все теги HTML и вывести текст в терминал или в файл?

#include <curl/curl.h>
#include <stdio.h>
#include <stdlib.h>
#define WEBPAGE_URL "http://homepages.paradise.net.nz/adrianfu/index.html"
#define DESTINATION_FILE "/home/acwest/data.txt"

size_t write_data( void *ptr, size_t size, size_t nmeb, void *stream)
{
 return fwrite(ptr,size,nmeb,stream);
}

int main()
{
 int in_tag = 0;
 char * buffer;
 char c;
 long lSize;
 size_t result;

 FILE * file = fopen(DESTINATION_FILE,"w+");
 if (file==NULL) {
fputs ("File error",stderr); 
exit (1);
}

 CURL *handle = curl_easy_init();
 curl_easy_setopt(handle,CURLOPT_URL,WEBPAGE_URL); /*Using the http protocol*/
 curl_easy_setopt(handle,CURLOPT_WRITEFUNCTION, write_data);
 curl_easy_setopt(handle,CURLOPT_WRITEDATA, file);
 curl_easy_perform(handle);
 curl_easy_cleanup(handle);

 // obtain file size:
 fseek (file, 0, SEEK_END);
 lSize = ftell (file);
 rewind (file);

 // allocate memory to contain the whole file:
 buffer = (char*) malloc (sizeof(char)*lSize);
 if (buffer == NULL) {
fputs ("Memory error",stderr); 
exit (2);
}

 // copy the file into the buffer:
 result = fread (buffer,1,lSize,file);
 if (result != lSize) {
fputs ("Reading error",stderr); 
exit (3);
}
}

Answer 1

Curl не поможет вам с разбором HTML, и это сложная задача. Вы можете прочитать спецификацию языка и написать парсер. Есть проект C++ с открытым исходным кодом по адресу http://www.mbayer.de/html2text/ или сценарий python по адресу https://github.com/aaronsw/html2text. Вы также можете установить и использовать html2text из командной строки или выполнить его из своего кода c.