/**
 * PHP使用HTTP_Request抓取远程url
 *
 * @param 
 * @arrange 512-笔记网： jb51.cc
 **/
<?PHP
require_once 'HTTP/Request.PHP';
$r = new HTTP_Request('http://www.*.com/robots.txt');
$r->sendRequest();
$page = $r->getResponseBody();
/***   来自编程之家 jb51.cc（jb51.cc）   ***/