Счет пула Runtime

Используйте это для исследования занятых учетных записей, охлаждений или маршрутизации разговора. Для первого взгляда на неудавшийся звонок, начните с Ежедневное использование.

SubLane отслеживает сдачу в аренду модели-запроса и временные сбои в учетных записях в каждом пуле, разделяющем учетную запись. Администратор может проверить состояние планирования СчетаИзменить лимит по счету через Настройки расписанияПроверить все выполненные вызовы под Администрация: все запросыКаждый зарегистрированный пользователь, включая администратора, имеет персональный Генерал → Запросы Вид.

Прием и родство

Новые учетные записи по умолчанию до 30 одновременных запросов модели, настраиваемые от 1 до 1000. Обновления сохраняют лимиты сохраненных учетных записей. Это локальная пропускная способность шлюза, а не гарантия поставщика. Рабочая емкость по умолчанию до 128 операций, включая официантов и общие считывания метаданных, и может быть настроена при запуске. Параллельные дефолты участников до 10 и могут быть установлены от 0 до 1000; 0 снимает лимит участника. Лицензирование счетов удерживается до закрытия тела через HTTP/SSEУплотнение и WebSocket Снижение лимита позволяет завершить существующие запросы.

Бездельный разговор или открытый WebSocket Соединение не потребляет слот запроса модели между поворотами. Завершенный ответ освобождает его слот, когда тело закрывается. После отмены клиентом Codex Поток может продолжать чтение в течение трех секунд, чтобы собрать окончательное использование перед выпуском своего слота; настраиваемый общий крайний срок запроса (30 минут по умолчанию) и отключение процесса по-прежнему применяются. Если клиент оставляет запрос запущенным без отправки отмены, этот запрос сохраняет свой слот до его окончания или достигает крайнего срока запроса.

Завязанный клиентом переход на другую модель с полной портативной историей может выбрать поддерживающую учетную запись, когда текущая учетная запись не может обслуживать ее; модель маршрутизации Описывает ограничения на продолжение. Только изменения в потенциале и здоровье никогда не сдвинутся с места. Когда емкость заполнена, новый запрос ждет, чтобы выполнить его. 30 секунд по умолчаниюВ лучшем случае 100 запросов ожидания в пуле по умолчаниюВыпущенный слот для учетной записи или увеличенный лимит параллелизма пробуждает запросы ожидания. Полная очередь возвращается HTTP 429 account_queue_full; просроченное ожидание возвращается HTTP 429 account_wait_timeoutОба с Retry-After: 1Ожидание и эти местные отказы не прерывают активные потоки и не наказывают здоровье аккаунта.

Ожидающие запросы учитываются в отношении параллелизма участников и ограничений на вход в рабочее пространство и потребляют участника. RPM Ограничение использования единожды. Они не резервируют ограничение использования или не потребляют слот для учетной записи до тех пор, пока не будут допущены. Доступ к пулу, типовая политика, включение участника, включение ключа / отзыв / истечение срока действия, состояние учетной записи, квота подписки и ограничение использования проверяются снова до отправки. Отмена клиента и отключение обслуживания быстро удаляют запросы на ожидание. Ожидание освобождает блок доступа и не проводит транзакцию базы данных; завершенное использование записывается до того, как выпущенный слот становится доступным для другого запроса.

The Cooldown возвращается HTTP 429 account_cooling с ограниченным заголовком Retry-After и без очереди. Никакой запрос автоматически переключает существующий разговор на другую учетную запись. Бессессионный или новый разговор может немедленно использовать другую соответствующую учетную запись; связанный разговор ждет только своей первоначальной учетной записи. Исчерпание квоты подписки, ограничения членского / рабочего пространства и ошибки допуска к оплате сохраняют свои обычные защитные механизмы.

Без Session_id или не пустой prompt_cache_key, каждый звонок получает независимый отбор и случайный идентификатор корреляции вверх по течению. Он не читает и не создает запись аффинити. Новые родные выборы вращаются в каждом пуле среди подходящих учетных записей подписки, поддерживающих модель. Явные устаревшие префиксы ограничивают выбор своим провайдером. Существующие явные разговоры по умолчанию сохраняют свой исторический дайджест.

Предел охватывает запросы на модели; проверка учетных записей, обнаружение моделей и считывание квот остаются ограниченными существующей глобальной политикой приема и не потребляют слоты для запроса модели. Эти операции с метаданными не очищают охлаждение запроса модели.

Примеры планирования счетов и просмотра квоты подписки с синтетическими значениями:

Охлаждение и восстановление

Охлаждение по всему счету зарезервировано для 429 ответов выше по потоку. Retry-After почитается в течение 1–3600 секунд; при отсутствии или недействительности настраиваемый запасной вариант по умолчанию составляет 5 секунд. Сбои обновления учетных данных имеют свою обратную сторону. Сроки запроса, HTTP 408 и неизвестные сетевые сбои не охлаждают всю учетную запись.

Для выбранной учетной записи и модели подсчитываются явные восходящие 5xx-ответы и недействительные/прерванные потоки. Порог по умолчанию составляет три логических сбоя в течение двух минут, за которыми следует 10-секундное охлаждение модели. Повторные сбои увеличивают задержку до пяти минут. Порог, окно и начальная продолжительность настраиваются; порог 0 отключает переходные охлаждения модели. Другие модели остаются приемлемыми. Успешные обычные запросы на восстановление очищают применимое состояние; поздние результаты не могут очистить новые сбои. Существующие структурированные Antigravity Ограничения по ставкам сохраняют свои правила восстановления.

Прежде чем принять успешный ответ, явный HTTP Отказы 408, 500, 502, 503 и 504 могут быть повторены дважды на одной и той же учетной записи, с ограниченным обратным вычетом. Ретриты перепроверяют текущее членство, ключ, групповую/модельную политику, квоту, жизненный цикл учетной записи и правила содержания. Они сохраняют одну аренду, идентификатор запроса, историю записей и окончательное урегулирование. Длинные подсказки повторного повтора возвращаются вместо повторного воспроизведения на ранней стадии. Неопределенность сети, 400/401/403/429, принятые потоки и частичный вывод не автоматически воспроизводятся этим механизмом. Существующая явная попытка обновления учетных данных 401 остается отдельной.

HTTP SSE Излучает комментирование сердцебиения каждые 10 секунд, в то время как событие вверх по течению читается. Необязательный поток бездействия подсчитывает только события вверх по течению; нисходящее сердцебиение не может скрыть застопорившуюся модель. Он по умолчанию выключается. Вывод заголовка тайм-аут по умолчанию до пяти минут, метаданные сохраняют его более короткий тайм-аут, а общий запрос / выключение по умолчанию до 30 минут. Конфигурация развертывания.

Администраторы могут устранять охлаждения без включения учетной записи, продления авторизации или восстановления квоты подписки. Существующие разговоры сохраняют свою первоначальную учетную запись. Охлаждения учетной записи / модели выживают при перезапуске. Обновление очищает устаревшие временные штрафы по всей учетной записи, объем модели которых был неизвестен, сохраняя при этом фактические лимиты ставок.

Полномочия на обновление и восстановление

Codex Удостоверения обновляются по требованию в течение двух минут после истечения срока действия. Если это обновление временно не удается, запросы могут продолжаться с существующим токеном доступа только в то время, когда у него остается более 30 секунд и он не был отклонен восходящим потоком. Срок действия проверяется снова после попытки обновления. Claude и Antigravity сохраняют свои существующие требования к действительности.

Неудачные попытки обновления имеют общую задержку повторного использования учетной записи: 30 секунд, одна минута, две минуты, четыре минуты, а затем максимум пять минут. OAuth Retry-After соблюдается, до одного часа. После истечения срока задержки, следующий запрос на чтение учетных данных или модель может повториться; нет дополнительной фоновой петли опроса. Другие учетные записи сохраняют свои собственные графики повторного использования.

Если не останется полезного токена, модель просит вернуть 503 account_refresh_failed с Retry-AfterСбои обновления не накапливают штрафы за охлаждение по вызову модели. Успешное обновление или повторное авторизация очищает состояние повторного обновления. Задержки повторного использования являются локальными процессами, в то время как отказ вверх по течению хранится с зашифрованными учетными данными, поэтому перезагрузка не может сделать этот токен пригодным для повторного использования.

The Codex конечная точка токена должна возвращать явный отказ учетных данных, такой как invalid_grant или refresh_token_reusedДля того, чтобы потребовать повторного разрешения. HTTP 400/401, прокси-ответ или общий OAuth Ошибка конфигурации клиента сама по себе не означает, что учетная запись нуждается в повторной авторизации. Обновленный токен, который все еще отвергается конечной точкой модели, продолжает требовать повторной авторизации. Существующие разговоры сохраняют обязательную силу своей учетной записи на протяжении всего восстановления.

Выбор с учетом квоты

Codex, Claude и Antigravity Модельный трафик запускает общие обновления фоновой квоты для соответствующих учетных записей пула, не дожидаясь ввода провайдера. Не более двух считываний квоты выполняются одновременно в слотах для приема в рабочее пространство; дублируются считывания, и применяются существующие правила охлаждения / отключения. Не существует общей праздной петли опроса. Ресурсы управляемых акций дополнительно запускают ограниченные повторные записи после завершения запроса для согласования использования ожидания, в том числе после последнего запроса; см. примирение и паузы. Claude Основные окна могут исключить исчерпанный счет. Antigravity проверяет только точную запрашиваемую нативную модель, с SDK Нормализованы суффиксы мышления; другие модели остаются приемлемыми, а состояние времени выполнения в масштабе всей учетной записи остается доступным.

Для Codex и Claude, отбор читает сохраняются нормализованные основной Лимит подписки в той же короткой транзакции, что и политика пула и аффинити. Явное отрицание, флаг с достигнутым лимитом или окно со 100% использованием исключает учетную запись из нового выбора только в то время, когда наблюдение является свежим (две минуты, сокращенные сбросом). Неизвестные, устаревшие, будущие или уже сброшенные данные не означают нулевую квоту. Дополнительные названные лимиты не предполагаются для отображения на модели и не могут исключить целую учетную запись. Низкая, но положительная квота не изменяет вес круглой корзины. Неудавшееся обновление сохраняет последнее успешное наблюдение; это может повлиять на планирование только до его первоначального срока свежести, никогда не бесконечно.

Связанный разговор, чей счет или запрос Antigravity Модель исчерпала доходность HTTP 403 quota_exhausted. Провайдер проверяется снова после истечения крайнего срока свежести/перезагрузки снимка; достижение этого времени не является обещанием, что ограничение использования восстановилось. Он никогда не переходит на другой счет. Отказ от квоты не увеличивает временные сбои, и Чистое охлаждение Счета показывают четкое состояние расписания, исчерпанное квотами.

Успешные наблюдения сохраняются до публикации и выживают при перезапуске. Квотные строки несут существующую ревизию жизненного цикла счета; отключают/включают и повторно авторизуют недействительные предыдущие наблюдения, а условные записи отвергают старые обновления в полете. В консолидированной схеме хранятся метаданные пересмотра жизненного цикла с квотными строками и запрашивают диагностику.

Последние записи запросов

Записи охватывают аутентифицированные попытки модели, которые достигают планирования шлюза, включая отказ от пропускной способности / охлаждения. HTTP сбои проверки типа тела / контента, глобальный отказ от приема, обнаружение модели, запросы квот и WebSocket Prewarm не создает модельные записи.

Хранимые метаданные ограничены идентификаторами пользователя / ключа / пула / учетной записи, провайдером, идентификатором ограниченной модели, протоколом / операцией, временем запуска, продолжительностью, идентификатором корреляции запросов, нулевой задержкой первого вывода, результатом, дезинфицированным кодом ошибки, восходящим потоком HTTP статус, а также сообщенные данные о входе/выходе/кэшированных токенах. Оперативность, органы реагирования, ошибки поставщика сырья, заголовки, IP-адреса, идентификаторы сеансов и учетные данные не регистрируются. Отсутствующие токены остаются нулевыми. Счета описывают отдельные наблюдаемые ответы; они не являются счетами или реестром ресурсов. Независимые ежедневные резюме и лимиты запросов участников описаны в командный контрольПоток может иметь HTTP 200 все же заканчиваются ошибкой, поэтому результат и статус выше по течению отличаются.

Личные записи фильтруются аутентифицированным пользователем сеанса в SQL перед началом работы; идентификатор пользователя или область не могут расширить доступ. Идентификаторы и имена учетной записи подписки очищаются в личном кабинете. API Пользователи могут фильтровать свою историю по результатам, точной модели, API ключ, идентификатор запроса и интервал времени, включая вызовы через ключи, которые впоследствии были отозваны. Администраторы могут отдельно фильтровать учетную запись участника и подписку. Варианты абонента извлекаются только из сохраненной истории внутри одной и той же области владения. Оба представления положены в пакеты по 50. Не более 5000 записей сохраняются в семидневном окне. Очистка выполняется атомарно при записи и при чтении истории; простаивающие данные восстанавливаются при следующей такой операции. Идентификаторы записи не используются повторно после очистки хранения. Имена удаленных учетных записей отображаются как удаленные, без удаления исторических метаданных.

Таблицы личных запросов и запросов администратора показывают скорость попадания кэша входного токена рядом с количеством кэшированных токенов: кэшированные входные токены, разделенные на общие входные токены, отформатированные в процентах не более чем в одном десятичном месте. Это измеряет долю входных токенов, подаваемых из кэша восходящего потока, а не долю запросов, попавших в кэш. Отчетное количество нулевого кэша с положительным вводом показывает 0%; отсутствующие счета, нулевой вход или количество кэша, превышающее общее количество ввода, показывают em dash. Скорость выводится из существующих метаданных запроса и не добавляет сохраненный столбец или запрос восходящего потока.

Каждая новая попытка модели получает сгенерированный сервером req_… Идентификатор, игнорирующий предоставленные абонентом идентификаторы. HTTP Ответы возвращают его в X-Request-ID; WebSocket Повороты Добавить request_id для созданных/завершенных/незавершенных событий и ошибок шлюза. Идентификатор отклика вверх по течению не изменился. Записи до обновления не имеют идентификатора корреляции или измерения первого выхода. Таблица запросов показывает компактный идентификатор под каждым временем запуска с действием копирования для полного значения. Нажатие на время начала открывает свои детали с полным идентификатором.

first_token_ms Меры обработки шлюза начинаются с первого непустого нормализованного текста, рассуждения, рассуждения-резюме или инструмента-аргумента дельты, включая планирование и ожидание вверх по течению. Сейчас не время для первого события жизненного цикла или токена, предоставленного клиентом. Составление, потоки без наблюдаемой дельты и более старых записей держатся нулевыми; пользовательский интерфейс называет это Первый выпускОбщая продолжительность по-прежнему покрывает закрытие тела.

Пример диагностики личных запросов с помощью синтетических записей:

API хранение

• GET /api/accounts/runtime: текущее состояние расписания и количество запросов на модель.
• PATCH /api/accounts/{id}/limitsустановленный max_concurrency (целое число 1-1000).
• POST /api/accounts/{id}/resume: явно ясное охлаждение/провалы.
• GET /api/me/requests?cursor=0&outcome=- метаданные текущего запроса пользователя для любой включенной роли.
• GET /api/requests?cursor=0&account_id=&outcome=Запрос метаданных администратором; результат может быть успешным, неполным, ошибочным, отмененным или отклоненным.

Обе конечные точки истории также принимают model, request_id, key_id, from (включающие секунды Unix) и until (исключительные секунды Unix); конечная точка администратора принимает user_idСрок хранения составляет семь дней независимо от запрашиваемого диапазона. GET /api/me/requests/filters и только администратор GET /api/requests/filters возвращайте ограниченный выбор звонящего / ключа без подписки или секретных значений.

За исключением явно личных конечных точек истории, эти маршруты требуют включенного сеанса администратора; мутации сохраняют происхождение.JSON Консолидированная схема создает расписание выполнения и таблицы истории, сопровожденные рабочим пространством. credentials.key перед заменой установки разработки.

Типовые ограничения

Явно структурированный Antigravity Реакции с ограничением скорости сужаются только тогда, когда домен ошибок, причина и модель соответствуют выбранному запросу. Неизвестные 429 ответов сохраняют охлаждение по всей учетной записи. Ограничения модели сохраняются при перезапуске и относятся к жизненному циклу текущего счета; повторное авторизация, отключение / включение и ручное охлаждение охлаждения аннулируют предшествующее состояние.

Ограниченная модель возвращается 429 model_cooling; первоначальный лимит поставщика указывается как 429 model_rate_limitedОбе модели сохраняют ограниченные намёки на повторную проверку. Другие модели остаются пригодными для использования, а существующие разговоры сохраняют свою первоначальную привязку к учетной записи. После охлаждения, по крайней мере, один нормальный запрос на эту модель пытается восстановиться за раз; не отправляется дополнительный зонд вывода. Старые или несвязанные успехи не могут стереть новый предел. Неудачная попытка сохранения сохраняет ограничение в текущем процессе и регистрируется как неудача сохранения.

Счетные карты отображают количество ограниченных моделей, в то время как общее планирование счета остается доступным. Планирование настроек → Clear cooldown очищает учетную запись и модель, без изменения включения, авторизации или подписки. HTTP 403, как сообщается, upstream_forbiddenВместо того, чтобы требовать повторного разрешения.

Автоматические проверки одобрения Codex

Запросы codex-auto-review с признаком guardian или review могут использовать согласованные метаданные родительского потока, чтобы предпочесть аккаунт основной беседы в рамках того же пользователя и группы ресурсов. Существующая привязка дочерней сессии имеет приоритет. Аккаунт должен пройти проверки поддержки модели, прав, квот, выделенного лимита и доступной ёмкости. Отсутствующие, противоречивые, неоднозначные, истёкшие или недоступные данные родителя возвращают обычный выбор без изменения его привязки. Идентификаторы сессий и кеша остаются раздельными. HTTP и WebSocket проверены на синтетических данных; работа с реальным клиентом Codex ещё не подтверждена.

Распределение новых диалогов по остаточной квоте

SUBLANE_GATEWAY_QUOTA_WEIGHTED=true учитывает минимальный оставшийся процент среди окон квоты. Только для приоритетных кандидатов одного поддерживаемого провайдера со свежими полными числами; Antigravity учитывает точную модель. Неизвестные, устаревшие, неполные или смешанные данные сохраняют равномерную ротацию.

По умолчанию выключено; требуется перезапуск. Существующие привязки, предпочтение родительского аккаунта, права, квоты и проверки параллелизма сохраняются. Проценты — эвристика, а не сопоставимые абсолютные ёмкости тарифов.