Утечка сокетов в CLOSE_WAIT при потоковом проксировании S3 PUT (proxy_request_buffering off + keepalive_timeout 0)

Кратко

При проксировании S3-трафика (PUT/GET/HEAD/DELETE) через Angie с потоковым (небуферизованным) режимом и отключённым keepalive, часть клиентских TCP-соединений зависает в состоянии CLOSE_WAIT навсегда — сокет не закрывается штатным образом, пока не будет выполнен полный reload/рестарт воркера. Со временем это приводит к исчерпанию worker_connections и отказу воркера принимать новые соединения (клиент видит обрыв TLS-хендшейка).

Окружение

  • Angie: 1.10.3 (angie -v → master process v1.10.3)
  • Роль: Angie используется как reverse-proxy перед собственным S3-совместимым gateway-процессом (апстрим на 127.0.0.1)
  • ОС: Linux, тестовый стенд, ~62 воркера (по числу CPU)

Релевантная конфигурация (S3 server-блок)

listen <ip>:443 ssl reuseport;  # reuseport только на первом listen, остальные без него

keepalive_timeout 0;

client_max_body_size        0;
proxy_request_buffering     off;
proxy_http_version          1.1;
proxy_buffering             off;

proxy_next_upstream error invalid_header http_502 http_503;

upstream <s3_upstream> {
    server 127.0.0.1:<port> max_fails=1 fail_timeout=10s;
    server <peer2>:<port> backup;
    ...
}

Глобально (http-уровень): worker_connections 8192;, worker_rlimit_nofile 100000;.

Апстрим-блок не содержит директиву keepalive (нет пулинга соединений к апстриму) — упоминаю на случай, если это релевантно, хотя по нашим наблюдениям утечка происходит именно на клиентской стороне, не на апстримной (см. ниже).

Трафик, на котором воспроизводится

  • Инструмент нагрузки: warp mixed (MinIO Go SDK, minio-go/v7.0.98) и aws-cli (aws-cli/2.33.16), TLS, --concurrent=1000, смесь 80% PUT / 20% GET, объекты ~1MB, длительность ~90 минут.
  • PUT-запросы идут с Content-Encoding: aws-chunked, Expect: 100-continue, X-Amz-Trailer: x-amz-checksum-<algo> (CRC64NVME/SHA256) — то есть тело передаётся chunked-кодированием с трейлером-чексуммой в конце.
  • Нагрузка сама по себе не выглядит экстремальной: пиковое число установленных (ESTAB) соединений на узел в момент проблемы — 13-16, то есть проблема не в мгновенной конкурентности.

Наблюдаемые симптомы

На клиенте (aws-cli, отдельный ручной PUT крупного объекта параллельно с нагрузочным тестом):

botocore.exceptions.SSLError: SSL validation failed for https://... EOF occurred in violation of protocol (_ssl.c:1032)

Обрыв происходит на этапе TLS-handshake (ssl.py:1372 do_handshake), то есть до какой-либо передачи данных — воркер не принимает новое соединение.

На сервере, lsof -c angie | awk '{print $2}' | uniq -c | sort -rn:

8538 16458
8534 17185
...  (~62 воркера, у каждого 8473-8538 открытых fd)

Это на уровне или выше worker_connections: 8192.

$ sudo ss -tnp state close-wait | wc -l
32133

$ sudo ss -tnp | grep angie | awk '{print $1}' | sort | uniq -c
  32132 CLOSE-WAIT
     13 ESTAB

Образец строк ss -tnp state close-wait:

Recv-Q  Send-Q Local Address:Port   Peer Address:Port    Process
25      0      <node_ip>:443        <client_ip>:1262     users:(("angie",pid=16480,fd=6441))
25      0      <node_ip>:443        <client_ip>:44702    users:(("angie",pid=17668,fd=7403))
...

Важные детали:

  • 100% зависших соединений — на клиентской стороне (:443 ↔ IP клиента нагрузочного теста). Ни одного зависшего соединения к локальному апстриму (127.0.0.1) обнаружено не было.
  • У каждого без исключения зависшего сокета Recv-Q равен ровно 25 байтам — то есть в буфере на чтение остаётся небольшой фиксированный по размеру хвост непрочитанных данных.
  • Воркеры на момент замера работали без перезапуска ~9 часов 8 минут (ps -o pid,etime,cmd) — то есть 32133 соединения накопились за это время, а не мгновенно, что соответствует постоянной медленной утечке (~1 сокет/сек в сумме по всем воркерам), а не разовому всплеску.

reload как временное устранение — с логами, подтверждающими механизм

$ sudo systemctl reload <angie-service>

В логе непосредственно перед реалоадом:

[alert] 16413#16413: 8192 worker_connections are not enough

(повторяется несколько раз подряд)

Во время завершения старых воркеров (сотни подобных строк, счётчик соединений доходит до тысяч на один воркер):

[alert] 16418#16418: *22 open socket #3 left in connection 4
[alert] 16418#16418: *69 open socket #4 left in connection 5
...
[alert] 16418#16418: *825129 open socket #6570 left in connection 6464
[alert] 16414#16414: *934825 open socket #7460 left in connection 7312

После завершения реалоада:

$ sudo ss -tnp state close-wait | wc -l
1
$ sudo ss -tnp state established | grep angie | wc -l
13

Интерпретация: сообщение open socket #N left in connection M генерируется самой Angie при завершении воркера, когда она обнаруживает, что структура соединения (ngx_connection_t) всё ещё ссылается на непустой файловый дескриптор, хотя штатный код обработки запроса его не закрыл. Раз у нас keepalive_timeout 0, в пуле воркера в принципе не должно быть простаивающих keepalive-соединений — то есть все обнаруженные и принудительно закрытые при shutdown соединения являются именно этой утечкой, а не легитимным простаивающим трафиком.

Что уже проверено и исключено

  1. Ошибки авторизации (InvalidAccessKeyId) как источник утечки — проверено в логе апстрима, за 7 дней на проблемном узле 0 таких ошибок. Не является причиной.
  2. Собственная ошибка апстрима (S3 gateway): "failed to discard put payload, probably goroutine leaks" (при context canceled + unexpected EOF на PUT) — встречена только 1 раз за 12+ часов, не может объяснить 32133 зависших сокета. Возможно, отдельная, параллельная проблема на стороне gateway, но не основной источник.
  3. nginx trac #2145 (“CLOSE_WAIT socket leak in downstream connections with keepalive”) — тематически похож (nginx отвечает раньше, чем дочитал тело, не реагирует на FIN), но по независимому воспроизведению (GitHub - tonyo/nginx-too-many-close-wait: Repo to reproduce a CLOSE_WAIT socket leak in Nginx (https://trac.nginx.org/nginx/ticket/2145) · GitHub) эта проблема не воспроизводится при keepalive_timeout 0 — то есть это, вероятно, другой дефект, не тот же самый.
  4. Проверил открытый nginx/nginx#778 (порча aws-chunked трейлера при HTTPS-проксировании) — похожий контекст трафика (S3 PUT с aws-chunked + TLS), но другой класс проблемы (искажение данных, видимая клиенту ошибка), прямой связи с CLOSE_WAIT не установлено.
  5. Публичных описаний точно такой же комбинации (keepalive_timeout 0 + proxy_request_buffering off → перманентный CLOSE_WAIT) в открытом поиске найти не удалось.

Рабочая гипотеза (не подтверждена, требует проверки со стороны разработчиков Angie)

При proxy_request_buffering off Angie стримит тело клиентского запроса в апстрим по мере поступления. Похоже, что в некоторых случаях — предположительно когда апстрим успевает ответить раньше, чем долетел небольшой завершающий хвост тела запроса (для aws-chunked PUT это финальный чанк + трейлер с чексуммой) — Angie при keepalive_timeout 0 переходит к закрытию соединения, но связанный с этим соединением файловый дескриптор перестаёт отслеживаться (никто больше не вызывает read()/close() на нём), и последующий FIN + оставшиеся байты от клиента остаются необработанными навсегда.

Фиксированный размер Recv-Q 25 во всех случаях наводит на мысль, что это конкретный, воспроизводимый паттерн, а не случайная гонка — но мы не проверяли это через tcpdump, поэтому не можем подтвердить содержимое этих 25 байт с уверенностью.

Вопросы к разработчикам / что было бы полезно узнать

  1. Известен ли похожий дефект в этой версии (1.10.3) или более поздних? Был ли патч, затрагивающий взаимодействие keepalive_timeout 0 + proxy_request_buffering off + недочитанное тело запроса?
  2. Есть ли способ на уровне конфигурации гарантированно избежать этой утечки, не отказываясь от proxy_request_buffering off (это нужно нам для потоковых загрузок больших объектов без буферизации на диск/в память)?
  3. Могли бы прокомментировать взаимосвязь между lingering_close/lingering_time/lingering_timeout и этим сценарием — применяется ли эта логика вообще в пути keepalive_timeout 0?

Что готовы предоставить дополнительно

  • Полную конфигурацию соответствующего server-блока.
  • tcpdump-снятие трафика на воспроизводимом стенде по запросу.
  • Точное количество и timeline накопления CLOSE_WAIT за более длительный период, если нужно.

Не стоит постить такой нейрослоп с кучей избыточной информации и при этом отсутствием чего-либо полезного (дебаг-лога, полного конфига и вывода angie -V) для диагностики проблемы.

Порекомендую для начала обновиться на актуальную версию и исключить влияние сторонних модулей. Заниматься отладкой в устаревшей на год и не поддерживаемой кодовой базе - дело заведомо неблагодарное.