Концепция
Отслеживание новых сообщений начинается после первого входа на форум а не с начала времён. Запоминается дата первого входа на форум.
Посетитель ниразу не был в теме:
Если в теме форума появляются сообщения после даты первого входа на форум, тема помечается меткой "новые". При входе в тему запоминается дата последнего прочтенного сообщения. Поскольку движение глаз браузер отслеживать не может, последним прочтенным сообщением считается последнее сообщение, отгруженное клиенту в браузер.
Посетитель уже был в теме:
Если в теме форума появляются сообщения после даты последнего прочтенного сообщения, тема помечается меткой "новые". При входе в тему дата последнего прочтенного сообщения обновляется на новое значение.
Новыми не считаются:
- Собственные сообщения
- Удаленные сообщения
- Сообщения от пользователей и гостей, находящихся в игноре
- Сообщения в темах и форумах, находящихся в игноре
Эти нюансы ощутимо утяжеляют запрос и увеличивают время его выполнения.
Реализация
Для унификации гостей и пользователей, а также для поддержки информации о прочитанных после вылогинивания, используются так называемые ридмаркеры.
Ридмаркер выдается посетителю при первом заходе, если он еще не выдан.
Выданный ридмаркер сохраняется в куках для гостей, и в куках и в профиле для пользователей.
При входе в систему ридмаркер гостя достается из куки, а ридмаркер пользователя достается из профиля и помещается в куку (как и другие настройки). Таким образом после вылогинивания, информация о прочитанных сообщениях не пропадает.
Решение проблемы распухания таблиц ридмаркеров
Форум посещает много ботов, у которых куки и сессий нет, а также много гостей, у которых протухает кука и ридмаркер теряется. Также постоянные посетители прочитали много тем, а новые темы появляются каждый день. Из за этого таблицы с информацией о прочитанных распухают, и возникает небоходимость в механизме их очистки (своего рода лангольеры).
Многие боты, распознанные по юзер-агенту, не участвуют в отслеживании новых.
Введен параметр, ограничивающий период отслеживания новых.
Введено понятие последней активности ридмаркера. Ридмаркеры, неактивные дольше чем период отслеживания новых, удаляются.
Поэтому для долго отсутсвующих посетителей, при возврате на форум, отсчёт новых начинается с момента возврата на форум, а не с начала времен, т.е. как будто он вошел на форум первый раз.
Много ботов заходят на форумы, но не входят в темы. Ридмаркеры, неактивные дольше 1-го дня, у которых нет посещений тем, удаляются.
Хранить записи о прочитанных темах, которые старее периода отслеживания новых, нет смысла. Такие записи удаляются, а дата первого входа на форум подтягивается до даты начала отслеживания новых (now - new_check_period).
У активных читателей часто бывает ситуация, что он прочитал многие или все темы с новыми сообщениями. Для этих тем были созданы записи в таблице прочитнных тем, но очищены они будут лишь когда истечет период отслеживания новых, а до этого момента они будут просто мертвым грузом лежать в таблице и утяжелять ее. Чтобы этого не происходило, при проверке новых также вычисляется время первого непрочитанного поста. Все записи до этого времени больше не нужны и поэтому удаляются, а дата первого входа на форум подтягивается до этой даты.
Для анализа и мониторинга я сделал техническую статистику:
http://nosql.ru/forum/load_statistics.php
Кэширование
При загрузке основного контента проверка новых не осуществляется, таким образом контент поставлятся быстро и не тратися время на ожидание проверки новых. Если инфа о новых есть в кэше, то она берется из кэша.
Реализована периодическая проверка новых в фоновом режиме. Этот скрипт подкачивает тэги
[новые] в страницу. Первый раз проверка запускается сразу после загрузки и далее каждые N секунд. Благодаря тому что первый запуск фоновой проверки новых осуществляется сразу после загрузки основной страницы, устаревшая инфа, взятая основным скриптом из кэша, обновляется актуальной инфой буквально через 1-2 секунды.
Удалось сэкономить даже на фоновой проверке. Незачем ей зря гонять проверку и грузить базу каждые N секунд, если ничего не поменялось. Система проверяет - если после последней проверки не было новых сообщений, то даже фоновая проверка новые не вычисляет, а берет из кэша.
Реализована процедура гранулярной инвалидации кэша информации о прочитанных, по мере прочтения топиков.
Отображение
Топики с новыми сообщениями бывают 2х видов:
Просто топики с новыми сообщениями
Топики, которые ты уже посещал, и в них появились новые сообщения.
Совсем новые топики с новыми сообщениями
Новосозданные топики, в которых ты не разу не был. Метка новые у этих топиков несколько отличается по цвету.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
create table v1_forum_read_markers
(
read_marker varchar(255),
forum_id int,
first_read_date datetime,
last_activity datetime,
first_activity datetime,
ip varchar(250)
);
create table v1_topic_read_markers
(
topic_id int,
read_marker varchar(255),
last_read_date datetime,
ip varchar(250)
);
