Устранение проблемы 99% заполнения диска из-за ИИ и SEO-ботов
Контекст (Бизнес-задача / Проблема): Партнер, владеющий спортивным новостным порталом, обратился с критической проблемой: редакция полностью потеряла возможность публиковать свежие материалы. Базовая диагностика показала, что дисковое пространство сервера заполнено на 99%. Анализ логов выявил, что виновниками были не живые читатели, а агрессивное нашествие ИИ-ботов (GPTBot, ClaudeBot, Applebot) и SEO-краулеров (SemrushBot, AhrefsBot). Их непрерывный парсинг страниц провоцировал генерацию гигантских объемов кэша, что привело к исчерпанию ресурсов диска, CPU и RAM, полностью парализовав бизнес-процессы редакции. ...