php - не могу очистить страницы с метатегом как noindex,nofollw

Question

Недавно я попытался очистить веб-сайт с помощью curl, но в браузере ничего не получил. Я нашел это, возвращая заголовок с

<meta name="robots" content="noindex,nofollow"> 

и код, который я использовал для очистки

function readThisPage($url){



            $curlHeaders = array (
                    'Accept-Language: en-us',
                    'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15',
                    'Connection: Keep-Alive',

            );
            $context = stream_context_create (array ('http' => array ('timeout' => 60)));
            $ch = curl_init($url);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
            curl_setopt ($ch, CURLOPT_HTTPHEADER, $curlHeaders);


            $buffer = curl_exec($ch);
            curl_close($ch);


            return $buffer;


        }

также я попробовал с file_get_html() оба возвращают то же самое. Как я могу очистить такие сайты?