Странные записи в журнале Apache, поступающие с IP-адреса Google
У меня есть такого рода сообщения об ошибках в моем файле журнала ошибок Apache:
[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice: Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66
И 1000 раз в час:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
так далее...
Дело в том, что на запрашиваемой странице нет реферера. Это обычный журнал ошибок:
[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice: Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10
https://www.abuseipdb.com/check/66.249.79.17-> Паук поисковой системы Google
Я думаю, что он открывает неправильные URL-адреса, а затем не может открыть файл, который используется для динамического создания изображения.
Почему в журнале нет реферера, когда этот ip достигает моего сайта?
2 ответа
Почему в журнале нет реферера, когда этот IP-адрес попадает на мой веб-сайт?
Боты, включая Googlebot, обычно не отправляют заголовки реферера.
Другое соображение заключается в том, что нет заголовков реферера для отправки, если к странице обращаются напрямую (в этих случаях заголовки реферера обычно пусты, если это не запрограммировано).
В более общем плане вас может заинтересовать этот вопрос для веб-мастеров, в котором есть хороший список других причин, по которым заголовки реферера не отправляются (хотя две из перечисленных выше наиболее вероятны).
Скорее всего, это сканер Google, пытающийся проиндексировать контент вашего сайта. Так что я бы не волновался об этом. Тем не менее, вы утверждаете это:
И 1000 раз в час...
И приведите эти строки в качестве примера:
[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning: Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
Ключевой частью является "Предупреждение PHP: Деление на ноль…", так как это ошибка в коде и сценариях вашего сайта. Вы можете отключить предупреждения PHP на вашем производственном сервере, чтобы избавиться от этих сообщений об ошибках, или - мое предпочтительное решение - открыть global_images.inc.phpперейдите к строке 335 и выясните, что вызывает ошибку деления на ноль, и исправьте ее.
Вы никогда не сможете полностью контролировать то, как бот сканирует ваш сайт, что бы вы ни говорили. Но если вы хотите ограничить шум в журналах ошибок, это полностью под вашим контролем. Очистите код или сбросьте ошибку уровня "предупреждение" на своем сайте и не теряйте больше сна из-за этого, чем нужно.