ТЗ на мониторинг цен: сопоставление товаров и приёмка данных

Почему мониторинг цен начинается с правил сравнения

Две одинаковые цифры на сайтах могут описывать разные предложения: одну штуку и упаковку, самовывоз и доставку, общедоступную цену и скидку по карте. Мониторинг, который собирает только число возле товара, рискует регулярно сообщать о несуществующем ценовом разрыве. В техническом задании сначала определяют сопоставимость, а уже затем частоту сбора и формат отчёта.

Материал посвящён входным данным и приёмке системы наблюдения. Он не предлагает обходить ограничения сайтов и не обещает постоянный доступ к чужим страницам. Все расчётные ситуации ниже учебные. Скачиваемый бриф помогает задать правила товара, предложения, свежести и исключений до оценки разработки.

Определите решение, для которого нужны данные

Запишите, кто будет пользоваться результатом и что он сделает после сигнала. Категорийному менеджеру может требоваться проверка выбранной группы конкурентов, закупщику — изменение условий поставщика, аналитику — история наблюдений. Эти задачи требуют разных выборок и детализации.

Уточните, что система только сообщает наблюдение или также готовит рекомендацию. Автоматическое изменение собственной цены — отдельная задача с ограничениями, подтверждениями и журналом. Её нельзя незаметно включать в проект, который начинался как ежедневный отчёт.

Задайте исследуемый регион, валюту, группу покупателей и условия получения товара. Если сайт персонализирует предложение, наблюдение относится к определённым условиям. Сравнение результатов из разных регионов должно быть явным, иначе смена адреса доставки выглядит как изменение цены.

Соберите эталон собственного ассортимента

Для каждой позиции нужны устойчивый внутренний идентификатор, производитель, модель, вариант, фасовка, единица измерения и значимые характеристики. Артикул поставщика не всегда совпадает с внутренним артикулом. Храните связь идентификаторов отдельно от отображаемого названия, которое редактор может исправить.

Сопоставление с внешним предложением делится на точное совпадение, возможный аналог и спорный случай. Для точного совпадения укажите обязательные признаки. Отличие комплектации или объёма должно переводить пару на проверку, даже если фотографии почти одинаковы. Оценка похожести не заменяет подтверждённую товарную связь.

Создайте контрольную выборку сложных случаев: набор и одиночный товар, старая и новая модель, разные объёмы, похожие названия и товар под заказ. Пусть ответственный специалист разметит правильные соответствия. Эта выборка станет основанием приёмки, а не просто демонстрацией системы на удобных примерах.

Опишите предложение целиком

Помимо цены храните валюту, единицу, доступность, продавца, регион, время наблюдения и источник. Отдельные поля нужны для условий акции, минимального количества, доставки и необходимости авторизации. Отсутствующее значение отмечается как неизвестное; оно не должно автоматически становиться нулём.

Учебный пример: упаковка из пяти предметов стоит 900 рублей, одиночный предмет — 200. Цена единицы первой упаковки равна 180, но покупателю нужно приобрести все пять. В отчёте полезно показать и стоимость единицы, и минимальную сумму покупки. Если требуется один предмет, вывод «первое предложение дешевле» нуждается в оговорке.

Установите правила округления и пересчёта. Валютный курс, налоговые условия и стоимость доставки нельзя смешивать без явной методики. Если каких-то данных нет, отчёт должен показывать неполное сравнение, а не достраивать итоговую стоимость догадкой. Правила конкретного рынка согласуются с владельцем процесса.

Выберите допустимые источники

Сначала проверьте доступные прайс-листы, договорённые выгрузки и официальные API. Для каждого источника укажите владельца, способ доступа, формат, ограничения использования и допустимую нагрузку. Автоматизированный сбор публичной страницы не даёт разрешения обходить вход, CAPTCHA или технические ограничения.

Для HTML-источника опишите, какие поля действительно видны и что делать при изменении страницы. Robots Exclusion Protocol задаёт правила обхода, но не является механизмом авторизации. Условия доступа и право дальнейшего использования данных оценивают отдельно. При ограничении источника система должна остановить соответствующий сбор и сообщить причину.

Требуйте проверяемый источник наблюдения: адрес, время, признаки товара и диагностические данные в допустимом объёме. Не нужно бесконечно хранить полную копию страницы, если для воспроизведения достаточно компактной записи. Состав и срок хранения согласуют до запуска.

Отделите свежесть от наличия записи

Показывайте время последнего успешного наблюдения и состояние последней попытки. Если страница недоступна сегодня, вчерашняя цена не становится сегодняшней. Для разных групп товаров можно согласовать разные сроки допустимой свежести. Просроченные значения должны быть заметны и исключаться из автоматических действий, где актуальность обязательна.

Ошибки различаются: источник недоступен, товар исчез, формат изменился, цена отсутствует или результат неоднозначен. Сводный статус «нет цены» скрывает причины и мешает восстановлению. Укажите владельца очереди ошибок и условия повторного запроса.

Не запускайте бесконечные повторы. Задержки и пределы повторов определяются под источник. После восстановления полезно сверить пропущенный период и сохранить разрыв в истории, если данные невозможно восстановить. Рисовать непрерывный график из догадок нельзя.

Как проверить качество и сигналы

Приёмка должна включать правильность сопоставления, извлечения, единиц, времени и обработки ошибок. Проверяйте отдельно ложные совпадения и пропущенные предложения. Средняя точность скрывает ситуацию, когда система уверенно сравнивает разные комплектации в самой важной категории.

Для сигнала задайте порог, базу сравнения, минимальную свежесть и правила подавления повторов. Если акция действует только при покупке набора, это должно влиять на сообщение. В уведомлении нужны исходные значения и условия, чтобы менеджер мог проверить вывод.

Проведите учебный прогон: источник меняет разметку, цена превращается в пустое поле, а предыдущее наблюдение остаётся в базе. Правильный результат — диагностический статус и сохранённая история. Резкое «снижение до нуля» и массовая рассылка тревог означают, что приёмка не пройдена.

Что включить в ТЗ

Передайте ассортимент, правила сопоставления, перечень источников, словарь полей, требования к свежести, сигналы и контрольную выборку. В брифе есть отдельные места для неизвестных условий и владельцев решений. Укажите, кто подтверждает спорные пары и как новая подтверждённая связь попадает в рабочую систему.

Пилот ограничьте понятной категорией и несколькими источниками. Сначала убедитесь, что команда может объяснить каждое наблюдение и восстановить ошибку. Затем расширяйте охват. Ценность мониторинга определяется пригодностью сравнения для решения, а не количеством собранных строк.