База данных номеров: как выбрать для SMS и верификации

База данных номеров упирается в одну техническую проблему: номер телефона меняет состояние быстрее, чем обновляются типовые базы.

База данных номеров: как выбрать для SMS и верификации

Он переносится между операторами, блокируется, приостанавливается, возвращается в оборот и может достаться другому абоненту.

Реестр нумерации, HLR-запрос, маршрут SMS и результат верификации отвечают на разные вопросы. Источники, объединённые словом «валидация», регулярно смешивают эти ответы. В итоге интеграция получает один бесполезный статус valid, хотя не знает, существует ли номер, доступен ли он для приёма SMS и кому фактически принадлежит.

Для транзакционного SMS такая ошибка превращается в недоставленные сообщения, лишние повторы и расход оператора. Для регистрации и верификации последствия строже: устаревшая запись пропускает неактуальный номер, а агрессивный блок-лист отклоняет действующего абонента. Выбор начинается с требуемой гарантии, источника сигнала и допустимой цены ошибки.

Что именно проверяет база телефонных номеров

Слово «проверка» скрывает несколько независимых слоёв. Их полезно разделять до вызова API.

1. Синтаксическая проверка подтверждает, что номер записан в допустимом формате. Для международной телефонии основой служит E.164: знак +, код страны и национальная часть без разделителей.

2. Проверка выделения отвечает, закреплён ли номер за оператором или оператором мобильной связи.

3. Проверка маршрутизации показывает, в какую сеть сейчас направляется вызов или SMS. Здесь важны данные оператора и система переносимости номеров, то есть MNP.

4. Проверка достижимости отвечает, готов ли канал принять сообщение. Это уже результат конкретного SMS-транзакционного тракта.

5. Проверка риска связывает номер с известными признаками злоупотреблений: множеством регистраций, блокировками, жалобами или нетипичной историей использования.

Слой проверкиЧто фиксируетсяГраница возможного вывода
Regex и E.164Корректность записиНе подтверждает выделение номера
Реестр нумерацииОператор, сегмент, статус выделенияНе гарантирует текущую доступность абонента
HLR и MNPТекущий сетевой маршрутНе подтверждает доставку SMS и личность владельца
Провайдерский APIСводный статус, источники, риск-признакиСемантика зависит от внутренней модели поставщика
DLR от SMS-провайдераРезультат конкретной отправкиНе гарантирует будущую доступность номера
Внутренняя история отправокНаблюдаемое поведение номераХранит статистику, а не истину о владельце

Номер может иметь корректный формат, числиться за оператором, маршрутизироваться в сеть и не принимать сообщения из-за блокировки A2P. Обратная ситуация тоже возможна: запись в устаревшей базе выглядит валидной, хотя номер уже возвращён оператором в пул и выдан другому абоненту.

Номер нельзя считать действующим только потому, что он прошёл проверку формата.

Сравнение источников телефонных данных

Под названием «база данных номеров» рынок продаёт несколько разных продуктов. У них разная ценность, разная задержка и разные границы достоверности.

Тип источникаСильный сигналОграничениеПодходящая роль
Справочник нумерацииПринадлежность номера оператору и сегментуСостояние абонента может отставатьБазовая валидация и маршрутизация по сегментам
Прямой операторский API или feedДанные оператора по собственной сетиОбычно требует контракта и не покрывает конкурентовТелеком--grade проверка и корректный SMS-маршрут
HLR/MNP lookupТекущий оператор и признаки переносаСетевой запрос, задержка, лицензионные ограниченияПредварительная проверки маршрутизации
Aggregation APIЕдиный контракт, разные источники, риск-оценкаИсточники и модель часто непрозрачныОнбординг, регистрация, антифрод-фильтр
Собственные delivery-логиФакт доставки по конкретным номерамВыборка смещена, результат действует только на момент отправкиОптимизация маршрутизации после запуска
Локальная библиотека форматаБыстрая детерминированная проверкаВидит только строкуНормализация и отсев очевидного мусора

Синтаксическая библиотека вроде libphonenumber полезна как первый фильтр. Она приводит номер к каноническому виду, учитывает метаданные стран и отсеивает заведомо недопустимые диапазоны. Обращение к внешнему API на этом этапе создаёт лишнюю зависимость и задержку.

Для формы регистрации обычно нужен синтаксис плюс проверка выделения. Если цена ошибки выше, добавляется HLR/MNP или агрегированный риск-сигнал. Для транзакционного SMS решающим становится корректный маршрут с учётом переноса номера, а не формальная «валидность».

Aggregation API удобен, когда нужно закрыть несколько рынков и не строить отдельные интеграции с каждым оператором. Здесь возникает главный риск: поставщик возвращает единый статус, скрывая разные исходные сигналы. Статус valid может означать корректный формат, успешный HLR-запрос, наличие в устаревшем CSV или совпадение с внутренней risk-моделью. Спецификация API обязана раскрывать эту границу.

Если API не сообщает возраст данных и источник статуса, проверка актуальности превращается в маркетинговое обещание.

Собственные логи доставки стоит рассматривать как отдельный контур данных. Они не заменяют внешний справочник, зато позволяют увидеть реальные отказы по конкретным сегментам. Риск здесь обратный: бизнес начинает считать собственную статистику абсолютной истиной, хотя состав клиентов, скидки, время отправки и тип контента постоянно меняют распределение ошибок.

Актуальность базы телефонных номеров и модель данных

Срок действия номера определяется не только датой последней проверки. Запись в базе может быть корректной по форме и при этом описывать состояние, завершившееся несколько месяцев назад.

Типовой жизненный цикл включает несколько переходов:

  • номер выделен и активен;
  • абонент временно приостановил услугу;
  • номер перенесли другому оператору;
  • связь с оператором заблокировали из-за антифрод-правил или задолженности;
  • номер вернули в пул и подтвердили повторно;
  • диапазон закрыли для отдельных типов трафика.

Поэтому запись должна разделять минимум четыре временные характеристики: когда выполнен запрос, когда источник наблюдал исходное событие, когда запись вступила в силу и когда она была архивирована. Поле checked_at показывает только время обращения к API. Поле source_updated_at ближе к реальному возрасту данных, но многие поставщики его не возвращают.

Минимальная модель записи выглядит так:

  • number_e164 — нормализованный номер;
  • source_number — исходное представление для разбора ошибок;
  • country и operator_id — страна и идентификатор оператора;
  • status — нормализованный статус;
  • raw_status — исходный ответ поставщика;
  • reason — машинно-читаемая причина отказа или ограничения;
  • checked_at — время запроса;
  • source_updated_at — время актуальности сведений у источника;
  • mnp_status — состояние переносимости;
  • confidence — оценка уверенности источника;
  • request_id — идентификатор для трассировки.

Поле confidence требует отдельного внимания. Десятичное значение без методики расчёта выглядит точно, но ничего не сообщает. Полезнее знать, какие сигналы поддерживают решение, сколько наблюдений лежат в основе и как модель калибровалась на отказах операторов.

Кэширование тоже требует дисциплины. Срок жизни записи зависит от страны, оператора, класса номера и типа статуса. Ошибочно использовать один TTL для всех ответов. Положительный статус может устареть из-за переноса или блокировки, отрицательный — из-за delayed activation или ошибки справочника. Риск-оценки требуют ещё более короткого окна и полного аудита решений.

Актуальность базы телефонных номеров измеряется разбросом возраста данных, а не фактом недавнего обращения к API.

Проверка номера телефона через API: рабочая архитектура

Проверка номера телефона через API встраивается в пользовательский путь, поэтому каждый лишний сетевой вызов влияет на конверсию и задержку. Рабочая схема строится в несколько этапов.

1. Нормализация. Исходный ввод приводится к E.164, исходная строка сохраняется отдельно. Нельзя молча удалять +, менять код страны или считать локальный формат эквивалентом международного.

2. Локальные фильтры. Проверяются формат, запрещённые диапазоны, внутренний список нежелательных контактов и ограничения конкретного продукта.

3. Выбор источника. Для простой формы достаточно локальной проверки. Для онбординга подключается источник выделения, HLR/MNP или риск-API. Для транзакционного SMS используется маршрут, соответствующий MNP.

4. Нормализация ответа. Сырые статусы поставщика переводятся в внутренний контракт: например, allocated, routeable, blocked, invalid, restricted, unknown. Исходное значение сохраняется для разбора инцидентов.

5. Политика решения. Ошибки маршрутизации, ограничения оператора и бизнес-блок-листы обрабатываются разными правилами. Их сведение в один invalid destroys diagnostics.

6. Кэш. Для повторных проверок применяются сегментированные TTL и контроль числа попаданий. В кэш не попадают токены, полные журналы и неидентифицированные риск-признаки.

7. Отказоустойчивость. Таймаут, circuit breaker, ограничение concurrency и повтор с backoff и jitter отделяют сбой интеграции от логического отказа. Статус invalid не повторяют.

8. Телеметрия. Фиксируются latency, код ответа, причина, версия правил и сегмент. Сырые номера в логи пишутся только при обоснованной необходимости.

Для синхронного API нужен измеримый SLO. В него входят p95 и p99 задержки, доля таймаутов, доступность, частота расхождений между источниками и время восстановления после сбоя. Для массовых проверок синхронный вызов каждого номера обычно уступает асинхронной очереди: клиент создаёт задачу, получает request_id, а результаты приходят по callback или через API статуса задачи.

Безопасность задаёт отдельный контур. Передача идёт по TLS, номера шифруются, доступ разделяется по ролям, секреты хранятся в менеджере секретов, а аудит фиксирует обращения к данным. Если номер нужен только для сопоставления, применяют токенизацию или необратимое хеширование с управляемым ключом. Если требуется отправка SMS, номер должен быть извлекаемым, поэтому его выносят в защищённое хранилище и ограничивают журналирование.

Контракт с поставщиком должен фиксировать пагинацию, лимиты, идемпотентность, версию схемы, сроки поддержки, обработку ошибок и правила смены модели. Формулировка «получена валидная база» ничего не сообщает о том, можно ли использовать её для транзакционного SMS.

Как провести бенчмарк поставщика

Демонстрационный тест поставщика создаёт впечатляющий результат. Он обычно использует заранее подготовленные номера, короткий диапазон стран и повторные обращения к одному кэшу. Для рабочего контура нужен собственный эталонный набор.

Порядок проверки:

1. Фиксация сценария. Выбираются регистрация, OTP, транзакционный SMS или иной сценарий. Для каждого задаются последствия false acceptance и false rejection.

2. Сегментация выборки. Номера делятся по странам, операторам, возрасту записи, типу абонента, факту переноса и диапазонам. Усреднение по всем сегментам скрывает провал в одном из них.

3. Разметка. Истина устанавливается по контролируемым тестовым отправкам и внутренним журналам. Ответ агрегатора о доставке служит фактом отправки, но требует проверки семантики DLR.

4. Прогон на одинаковых данных. Проверяются холодный и прогретый кэш, разные периоды суток и повторные запросы. Один и тот же набор проходит через API и через конкурирующие источники.

5. Расчёт метрик. Результаты считаются отдельно по каждому сегменту. Доверительные интервалы показывают, насколько устойчивы различия.

6. Canary-деплой. Новый источник сначала работает в shadow mode, затем получает ограниченную долю проверок. После этого сравниваются бизнес-метрики, ошибки и стоимость.

МетрикаЧто показываетТипичная ошибка измерения
CoverageДоля запросов с определённым статусомПровайдер исключает из знаменателя неразрешённые случаи
Precision среди принятыхДоля действительно пригодных номеров среди разрешённыхСчитается на синтетическом наборе без отказов
RecallДоля найденных действующих номеровПутается с полнотой реестра
False acceptanceНасколько часто допускается непригодный номерСкрывается общим процентом успешных запросов
False rejectionНасколько часто блокируется действующий номерНе сопоставляется с реальными отказами продукта
FreshnessВозраст данных по сегментамПодменяется временем текущего запроса
p95/p99 latencyХвост задержки в рабочем трактеПубликуется только среднее значение
СтабильностьПоведение при таймаутах и смене статусаПроверяется в лаборатории без ретраев

Для бинарного решения о приёме номера precision вычисляется как TP / (TP + FP), recall — как TP / (TP + FN). Для отказов важны обратные доли. Наличие большого числа успешных ответов ничего не говорит, если поставщик просто возвращает unknown для сложных или невыгодных сегментов.

Бенчмарк должен учитывать полную стоимость запроса. Учитываются повторные попытки, таймауты, пакетные скидки, разные тарифы по странам и оплата за логический успех. Дешёвый API с частыми ретраями может обойтись дороже точного источника.

SMS, верификация и ограничения выбора

Проверка номера и доставка SMS связаны, но это разные процессы. SMS-провайдер может принять сообщение в очередь, отправить его оператору и получить отказ. Причины включают блокировку отправителя, фильтрацию контента, ограничение маршрута, квоту, антифрод-правила оператора и некорректный маршрут после переноса номера. HLR-запрос не видит все эти условия.

Статус доставки тоже требует точной трактовки. delivered обычно означает, что оператор сообщил о приёме сообщения устройством. Этот факт не подтверждает, что человек прочитал SMS, понял его или владеет номером. Для OTP база данных вообще не является доказательством владения: таким доказательством служит только предъявленный код.

Для верификации и антифрода источник используется как один из сигналов риска. Сопоставление номера с прошлой регистрацией, множеством аккаунтов или блок-листом помогает принять решение. Попытка использовать такую базу для обхода KYC, ограничений, CAPTCHA или правил оператора превращает интеграцию в инструмент злоупотребления.

Правовой контур требует отдельной проверки. Номер телефона может относиться к персональным данным, особенно когда он связан с человеком, записью аккаунта или корпоративным сотрудником. В российской практике это учитывается при обработке по 152-ФЗ, а для трансграничной передачи требуются дополнительные основания и договорные механизмы. Транзакционные сообщения и рекламные рассылки разделяются по цели, базе согласия, срокам хранения и правилам отзыва.

Покупные дампы без прозрачного происхождения, результаты массового scraping и базы с обратным поиском по номеру плохо совместимы с моделью ответственного внедрения. Дополнительное обогащение именами, адресами и профилями увеличивает уязвимость: одна утечка превращает техническую базу в персональные данные. Происхождение, правовое основание обработки, место хранения, субподрядчики и сроки удаления фиксируются в договоре до подключения API.

Ограничения выбора

1. Формулируется конкретная задача: фильтрация формы, OTP, маршрутизация SMS, риск-оценка или их комбинация.

2. Для каждого статуса определяется точный смысл, источник сигнала и допустимое действие приложения.

3. У API запрашиваются временные метки данных, а не только время текущего запроса.

4. Покрытие проверяется по странам, операторам, диапазонам и типам номеров.

5. Поставщик проходит бенчмарк на собственном эталонном наборе с контролируемыми SMS-отправками.

6. p95/p99 задержка, таймауты, доступность, coverage и стоимость повторов включаются в SLO и контракт.

7. Проверяются пагинация, идемпотентность, batch API, callback, версии схемы и поведение при сбое.

8. Отдельно оцениваются шифрование, разграничение доступа, журналирование, удаление и реакция на инцидент.

9. Проверяются основания обработки персональных данных, цели использования, субподрядчики, трансграничная передача и сроки хранения.

10. Запуск проходит через shadow mode и canary с готовым откатом; при расхождении с эталоно переход на новый источник блокируется.

11. Если поставщик не раскрывает происхождение данных, не описывает временную семантику и не проходит проверку на вашем эталонном наборе, его исключают независимо от демонстрационных метрик и цены.