Amazon закрывает сервис Mechanical Turk, известный как «искусственный искусственный интеллект»

По данным CNBC, Amazon сворачивает сервис, который глава компании Джефф Безос когда-то охарактеризовал формулировкой «искусственный искусственный интеллект» — это один из старейших экспериментов Amazon на стыке краудсорсинга и машинного обучения. Для команд, собирающих датасеты под файн-тюнинг и обучение моделей, новость — повод пересмотреть зависимости от инфраструктуры Amazon в цепочке разметки и не откладывать миграцию на крайний срок.

Что именно закрывается

CNBC сообщает о прекращении работы площадки, в основе которой — человеческий труд, обёрнутый в интерфейс «ИИ-задач». Характеристика «artificial artificial intelligence» из уст Безоса подчёркивала: за машинным фасадом стоят тысячи удалённых операторов, выполняющих задания, которые алгоритмы на тот момент не вытягивали сами. Amazon убирает один из ранних массовых продуктов на этом стыке — и для рынка это сигнал пересмотреть, на каких именно участках пайплайна площадка ещё держит нагрузку.

Из открытого материала CNBC не следует ни точной даты отключения, ни деталей по корпоративным клиентам. Поэтому практический план приходится строить на публичных обязательствах AWS по миграционным окнам и собственной инвентаризации.

Ревизия пайплайна разметки за три итерации

• Инвентаризация. Сведите в одну таблицу все активные задания на платформе, число операторов, объём необработанных данных и downstream-модели, которые на этих данных обучались. Без этого параметра невозможно оценить реальный масштаб миграции и понять, какие лимиты генерации станут критичными.
• Тест замен. На рынке остаются Toloka, Scale AI, Labelbox, Appen и ряд SaaS-сервисов для разметки. Сравнивайте по плотности: качество на валидационном батче, цена за единицу, лимиты на объём, наличие API и SLA, поддержка нужных типов задач — от классификации до разметки сегментов.
• Параллельный прогон. Не переключайте весь датасет за один шаг — токены бюджета и accuracy у нового провайдера могут вести себя иначе. Замерьте дельту на одних и тех же сэмплах, прежде чем раскатывать на прод.

Где не спешить и что отслеживать дальше

Главный риск — миграция на эмоциях. Источник не фиксирует жёсткий дедлайн, а AWS исторически даёт клиентам окно в несколько месяцев на выгрузку данных и завершение активных задач. Используйте это окно, чтобы прогнать контрольные батчи параллельно на двух платформах и зафиксировать разницу в качестве разметки. Если ваша разметка — звено в файн-тюнинге модели, потеря качества здесь ударит по всему пайплайну: downstream-задачи просядут задним числом, и вы это заметите не сразу, а уже по метрикам в проде.

Отдельный пункт — юридический. При переносе на новую площадку пересмотрите условия обработки данных воркеров и согласия на передачу контента. Этот параметр часто всплывает слишком поздно, когда переключение уже произошло и старый провайдер перестал быть доступной стороной для аудита.

Следите за обновлениями в AWS Console и в почтовых рассылках по аккаунту — именно туда AWS обычно выкладывает сроки отключения и инструменты экспорта.