Перейти к содержанию

POST /fetch — чтение страницы

POST /web-fetch/api/v1/fetch читает одну страницу целиком или выбирает из нее выдержки под заданную цель. Это собственный API хаба: поле provider выбирает вариант чтения, а все поля интерфейса описаны ниже.

curl https://hub.coreinfra.ai/web-fetch/api/v1/fetch \
-H "Authorization: Bearer $COREINFRA_API_KEY" \
-H "Content-Type: application/json" \
-d '{"provider":"okhta","url":"https://example.com/","objective":""}'

Фрагмент структуры ответа; идентификатор и содержимое сокращены:

{
"fetch_id": "...",
"url": "https://example.com/",
"title": null,
"publish_date": null,
"content": "...",
"error": ""
}

Поля запроса и ответа​

Это собственный интерфейс хаба; таблицы описывают весь запрос и ответ.

Запрос​

Все три поля обязательны, принимают строки и не имеют значений по умолчанию. Неизвестные поля отклоняются со статус-кодом 400.

ПолеЗначение
providerВариант чтения: okhta или karpovka; пустое или неизвестное имя отклоняется со статус-кодом 400, недоступный сервис — 503
urlОдин абсолютный URL со схемой http или https и именем хоста
objectiveПустая строка запрашивает полный текст; непустая — выдержки под указанную цель

Для полного текста передайте именно "" в objective: строка из пробелов тоже выбирает режим выдержек. Для okhta, если полного текста нет, content составляется из доступных выдержек. Выдержки объединяются двумя переводами строки.

Ответ​

Успешный вызов возвращает JSON со статус-кодом 200. Непустое поле error означает неудачное чтение страницы; оно может сопровождаться статус-кодом 200 или 502.

ПолеТипЗначение
fetch_idстрокаUUID запроса хаба
urlстрокаАдрес полученного результата; при ошибке чтения — адрес из запроса
titleстрока или nullЗаголовок страницы
publish_dateстрока или nullДата публикации, если она есть в результате
contentстрокаПолный текст или объединенные выдержки
errorстрокаПустая строка при успехе; failed to fetch page при ошибке чтения страницы

Стоимость зависит от выбранного варианта чтения. Уже оплаченное использование может учитываться и при неудачном чтении страницы. Ответ не содержит usage или суммы списания. Цены — на странице «Тарифы».

Ошибки​

Статус-кодУсловие
400Некорректный JSON, отсутствующее или неизвестное поле, пустой или неподдерживаемый provider, либо некорректный url
502Ошибка на стороне провайдера при чтении страницы
503Выбранный сервис чтения временно недоступен

При ошибке отдельной страницы статус-код остается 200. В ответе error равно failed to fetch page, content пуст, title и publish_date равны null, а url повторяет адрес из запроса.

Формат ошибок описан в разделе веб-API; общие ошибки ключа, баланса, лимита расходов и размера запроса — в общем справочнике.