添加爬虫协议
爬虫协议文件robots.txt，把爬虫协议上传到站点跟目录

User-agent: *
Allow: /*.html$
Allow: /usr
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jepg$
Allow: /*.gif$
Allow: /*.bmp$
Disallow: /admin/
Disallow: /install/
Disallow: /var/
Disallow: /config.inc.php
Disallow: /install.php
Sitemap:你的网站/sitemap.xml　　　

添加推送php
在网站根目录新建一个文件夹
在文件夹新建一个 PHP 文件
填写网站 sitemap.xml地址和百度的推送接口
把文件地址添加到宝塔定时任务
选择访问 URL，自定义执行时间

<?php
header('Content-Type:text/html;charset=utf-8');
$xmldata =file_get_contents("https://自己网站/sitemap.xml");
$xmlstring = simplexml_load_string($xmldata,'SimpleXMLElement',LIBXML_NOCDATA);
$value_array = json_decode(json_encode($xmlstring),true);
$url = [];
for ($i =0;$i < count($value_array['url']);$i++){
    echo $value_array['url'][$i]['loc']."<br/>";
    $url[]= $value_array['url'][$i]['loc'];
}
$api ='百度站长的推送接口';
$ch = curl_init();
$options = array(
   CURLOPT_URL => $api,
   CURLOPT_POST => true,
   CURLOPT_RETURNTRANSFER => true,
   CURLOPT_POSTFIELDS => implode("\n",$url),
   CURLOPT_HTTPHEADER => array('Content-Type:text/plain'),
);
curl_setopt_array($ch, $options);
$result =curl_exec($ch);
echo $result;
?>

成功返回
{“remain”: 今日剩余数，”success”: 推送成功数}

版权属于：晨狐博客

本文链接：https://liuzhuai.com/archives/10.html

转载时须注明出处及本声明