799. *nvv 2021/10/25 14:59
...
updated from 13:03 ~> уточнены некоторые не совсем удачные формулировки. Сожалею, Влад.
Привет, Joker.
> > 795.Joker
>> > 792.nvv
>Мне вот интересно почему статистика регулярно буксут. Сервер не справляется?
(хм;) Если кратко, то сервер здесь ни причём , статистика не 'буксует' , а приостанавливает ненадолго публикацию свежих данных, причем сие носит иррегулярный характер. +Я не знаю, почему всё это происходит. ;-|
А, если серьёзно, то... Увы, я не в состоянии ответить как следует на эти вопросы, бо лишь наблюдатель здесь и не владею ситуацией в достаточной степени. Однако, моя компетенция в области сопровождения сходных аппаратно-программных комплексов позволяет мне, опираясь на собственные наблюдения за текущими /и в ретроспективе/ проявлениями движка СИ, примерно оценить и прозвучавшие вопросы, и текущую ситуацию в учёте посетителей 'Самиздата' (далее - 'учёт'), и наиболее вероятные перспективы касаемо. Посему предлагаю свои варианты ответов на сакраментальное: 'кто виноват и что делать?'. ;)
0. Наблюдаемая неустойчивая работа подсистемы публикации свежих данных учёта не нужна никому, ни посетителям, ни пользователям, ни техподдержке, ни владельцу СИ. У первых двух категорий - ухудшается комфорт (информационно справочная поддержка опубликованных произведений). У оставшихся /категорий/ - на руках не закрытая проблема, раз за разом отвлекающая от более интересных занятий... Тем не менее, оная /нестабильная/ работа сохраняется уже четырнадцатый месяц подряд, что совершенно необычно /для меня/.
1. Наиболее вероятная предпосылка произошедшего почти полтора года назад драматического изменения рисунка работы подсистемы учёта - продолжающийся рост посещаемости (я не оговорился!) топовых авторов, грозящий достичь уровня отнесения 'организатора распространения информации в сети "Интернет"' к СМИ. Мне лень искать точные цитаты/ссылки, но суть: 3000+ посетителей ежедневно == СМИ. Или за миллион /с хвостиком/ в год. А статус 'СМИ' - неплохие 'узда и поводья' для внешнего руления (читай - гос. управления) таким как-бы независимым ресурсом. Со всеми вытекающими.
2. Взглянем на динамику хитов за '12мес' раздела 'номер один' ('N1') рейтинга СИ. У меня под рукой такие данные с конца 2018 года (достаточно, на мой взгляд). Отмечу - табличка ниже, это помесячная выборка 'на скорую руку', исключительно с целью получить первое представление, не боле того.
Цветом отмечены довольно резкие скачки вниз. Эта табличка позволяет с достаточной уверенностью предположить, что те или иные разовые мероприятия по ужесточению выбраковки 'неживых' (роботы и проч.) посетителей из данных учёта проводились неоднократно прямо с момента обустройства рассматриваемого учёта в СИ, но в основном были 'мягкими' (по-слегка, по чуть-чуть) и лишь иногда принимали радикальную форму. Сошлюсь на то, что сказал в январе 2020 года уважаемый 'Nazgul' о происходившем в СИ пять-семь лет назад:
~> 705.Nazgul, 2020.01.08 (фрагменты)
> > 701.nvv
>Внутренние игры с внутренним же учётом повышают шансы на выживание, но не более того. /.../
/.../ за посещаемость местные "аффтары" - бились и бьются насмерть.
Просто Мошков придавил "верхнюю планку", что бы не быть обвиненным в крышевании "независимых СМИ" /.../. Ему не надо. /.../
>А суммарные хиты /за 30 дней/ /.../ уменьшились /.../ примерно на 25%.
Это вы не застали 2014 год, когда посешаемость наиболее раскрученных аффтаров переваливала за несколько миллионов. /.../
Стоило ввести функцию "защиты от накруток", как рЫкордсмены сдулись.
== http://samlib.ru/comment/r/redaktor/forum_main.42?ORDER=reverse&PAGE=19
... так что, полагаю, сейчас мы наблюдаем ещё одно резкое снижение 'планки' в мягкой форме. Резкое по результату - хиты N1 уменьшились за год почти наполовину (как и мои, между прочим;). А мягкое - по исполнению: те же самые 'по-слегка, по чуть-чуть', но длящиеся уже год...
3. Отмечу, пожалуй, ещё одно существенное, но не очевидное обстоятельство - место, где выявляется факт обращения с некоего внешнего адреса к некоему внутреннему адресу, чья посещаемость учитывается. Или по-простому - где может быть 'датчик посещения'? Таких /возможных/ мест - не одно и не два, а множество. НО... 'цена вопроса' и достоверность результатов у этих мест разная. И весьма-с! Вот и делятся такие места на 'внутренние' (в границах ресурса с учитываемым адресом) и 'внешние' (где угодно, но вне этого ресурса). Реальный практический интерес (касаемо критерия '3000+', в частности) представляют исключительно внутренние датчики. Так как данные с прочих датчиков просто непригодны для математического разделения /очистки/ полного объёма обращений на 'живое' и 'неживое' в разумные сроки и с приемлемой достоверностью.
Ирония ситуации в том, что эти внутренние датчики пребывают в полной власти владельца ресурса, именно он определяет, что именно пройдёт разбраковку. И именно ему грозит лишними хлопотами 'слишком высокая' посещаемость, ставшая известной. И сию /его/ прерогативу никак не обойти, пока он остаётся в указанном статусе 'владелец'. Причём, он же больше всех заинтересован в адекватности картины посещаемости. В том числе и из-за того, что стоимость рекламного места прямо от этой посещаемости зависит...
А с другой стороны, как я уже неоднократно указывал, любые публикуемые цифры посещаемости ('нетто') - 'нарисованы'! ВСЕГДА и ВЕЗДЕ. Бо получены весьма нетривиальной математической обработкой исходных первичных данных ('брутто'). Правда, одна и та же 'первичка' породит в разных ресурсах разные 'нетто'. Просто потому, что глубина обработки и сложность используемой математики у них заведомо разная + разные же сами алгоритмы и комплекты критериев отбраковки. Причём, со временем математика должна усложняться, а критерии - ужесточаться хотя-бы для сохранения приемлемой достоверности результатов. Бо доля 'неживого' в общем потоке РАСТЁТ! По разным причинам, но постоянно-с.
4. О причастности сервера ('железо') к наблюдаемым паузам в рассматриваемом. На мой взгляд, сервер здесь ни причём. У 'железа' два основных состояния: 'штатное' (обычная работа) и 'авария' (что-то поломалось, работать нельзя или нежелательно). +У аппаратуры 'массового обслуживания' (это как раз наш случай) допускается /как временный/ режим 'перегрузка' (например во время DDoS атаки). НО у нас совсем иной ('старт-стоп') рисунок публикации данных учёта. Это явно чисто программное поведение, причём, /обязательно/ с участием техподдержки. Иными словами, это подконтрольное поведение рассматриваемой подсистемы СИ, /пока/ устраивающее оную поддержку.
(итого) Выводы, наиболее вероятная перспектива и пожелание касаемо:
а* собственно то, что наблюдается в статистиках разделов, имеет статус 'где-то так +трамвайная остановка' и осмысленно оное только для примерной оценки динамики посещений, да для сравнения взаимно согласованных во времени таких данных разных разделов СИ;
б* ситуация в подсистеме учёта находится под контролем и /скорей всего/ развивается по запланированному сценарию;
в* наблюдаемый рисунок 'старт-стоп' публикации - это выбор техподдержки, исходя из имеющихся возможностей, и, имея целью произвести требуемую модернизацию учёта, при минимальных (sic!) неудобствах пользователей и посетителей СИ;
г* этот неудобный 'старт-стоп' закончится по достижении указанной в п.в* цели, вряд ли раньше, причём процесс идёт. Косвенные, но достаточно убедительные признаки - разные наблюдавшиеся в течение года варианты перехода от состояния 'стоп' к состоянию 'работаем' (конкретнее скажет только техперсонал, увы);
д* пожелание - не принимайте происходящее близко к сердцу. Тем паче, от нас оное никак не зависит, а наше чрезмерное любопытство в неудачном месте просто замедляет затягивая упомянутую модернизацию. Я это сказал, в том числе имея в виду и вот это:
> > 793.Левин Борис Хаимович
>меня огорчает, что нет никаких ответов на запросы (в т. ч. и по статистике).
... Впрочем, всё вышесказанное - это мои личные мнение и оценки, никого и ни в чём не обязывающие, да и не призывающие ни к чему, окромя очевидного: 'Take it easy!'.
DIXI
---
Удачи!
Влад.
P.S. Между прочим, сегодня в штатное время произошло пополнение свежими данными учёта примерно 30% статистик разделов СИ. Причём, это первый на моей памяти случай возобновления такой автоматической публикации без предварительного ручного перезапуска. Хороший знак, на мой взгляд.