Кратко
При проксировании S3-трафика (PUT/GET/HEAD/DELETE) через Angie с потоковым (небуферизованным) режимом и отключённым keepalive, часть клиентских TCP-соединений зависает в состоянии CLOSE_WAIT навсегда — сокет не закрывается штатным образом, пока не будет выполнен полный reload/рестарт воркера. Со временем это приводит к исчерпанию worker_connections и отказу воркера принимать новые соединения (клиент видит обрыв TLS-хендшейка).
Окружение
- Angie:
1.10.3(angie -v→master process v1.10.3) - Роль: Angie используется как reverse-proxy перед собственным S3-совместимым gateway-процессом (апстрим на
127.0.0.1) - ОС: Linux, тестовый стенд, ~62 воркера (по числу CPU)
Релевантная конфигурация (S3 server-блок)
listen <ip>:443 ssl reuseport; # reuseport только на первом listen, остальные без него
keepalive_timeout 0;
client_max_body_size 0;
proxy_request_buffering off;
proxy_http_version 1.1;
proxy_buffering off;
proxy_next_upstream error invalid_header http_502 http_503;
upstream <s3_upstream> {
server 127.0.0.1:<port> max_fails=1 fail_timeout=10s;
server <peer2>:<port> backup;
...
}
Глобально (http-уровень): worker_connections 8192;, worker_rlimit_nofile 100000;.
Апстрим-блок не содержит директиву keepalive (нет пулинга соединений к апстриму) — упоминаю на случай, если это релевантно, хотя по нашим наблюдениям утечка происходит именно на клиентской стороне, не на апстримной (см. ниже).
Трафик, на котором воспроизводится
- Инструмент нагрузки:
warp mixed(MinIO Go SDK,minio-go/v7.0.98) иaws-cli(aws-cli/2.33.16), TLS,--concurrent=1000, смесь 80% PUT / 20% GET, объекты ~1MB, длительность ~90 минут. - PUT-запросы идут с
Content-Encoding: aws-chunked,Expect: 100-continue,X-Amz-Trailer: x-amz-checksum-<algo>(CRC64NVME/SHA256) — то есть тело передаётся chunked-кодированием с трейлером-чексуммой в конце. - Нагрузка сама по себе не выглядит экстремальной: пиковое число установленных (
ESTAB) соединений на узел в момент проблемы — 13-16, то есть проблема не в мгновенной конкурентности.
Наблюдаемые симптомы
На клиенте (aws-cli, отдельный ручной PUT крупного объекта параллельно с нагрузочным тестом):
botocore.exceptions.SSLError: SSL validation failed for https://... EOF occurred in violation of protocol (_ssl.c:1032)
Обрыв происходит на этапе TLS-handshake (ssl.py:1372 do_handshake), то есть до какой-либо передачи данных — воркер не принимает новое соединение.
На сервере, lsof -c angie | awk '{print $2}' | uniq -c | sort -rn:
8538 16458
8534 17185
... (~62 воркера, у каждого 8473-8538 открытых fd)
Это на уровне или выше worker_connections: 8192.
$ sudo ss -tnp state close-wait | wc -l
32133
$ sudo ss -tnp | grep angie | awk '{print $1}' | sort | uniq -c
32132 CLOSE-WAIT
13 ESTAB
Образец строк ss -tnp state close-wait:
Recv-Q Send-Q Local Address:Port Peer Address:Port Process
25 0 <node_ip>:443 <client_ip>:1262 users:(("angie",pid=16480,fd=6441))
25 0 <node_ip>:443 <client_ip>:44702 users:(("angie",pid=17668,fd=7403))
...
Важные детали:
- 100% зависших соединений — на клиентской стороне (
:443↔ IP клиента нагрузочного теста). Ни одного зависшего соединения к локальному апстриму (127.0.0.1) обнаружено не было. - У каждого без исключения зависшего сокета
Recv-Qравен ровно 25 байтам — то есть в буфере на чтение остаётся небольшой фиксированный по размеру хвост непрочитанных данных. - Воркеры на момент замера работали без перезапуска ~9 часов 8 минут (
ps -o pid,etime,cmd) — то есть 32133 соединения накопились за это время, а не мгновенно, что соответствует постоянной медленной утечке (~1 сокет/сек в сумме по всем воркерам), а не разовому всплеску.
reload как временное устранение — с логами, подтверждающими механизм
$ sudo systemctl reload <angie-service>
В логе непосредственно перед реалоадом:
[alert] 16413#16413: 8192 worker_connections are not enough
(повторяется несколько раз подряд)
Во время завершения старых воркеров (сотни подобных строк, счётчик соединений доходит до тысяч на один воркер):
[alert] 16418#16418: *22 open socket #3 left in connection 4
[alert] 16418#16418: *69 open socket #4 left in connection 5
...
[alert] 16418#16418: *825129 open socket #6570 left in connection 6464
[alert] 16414#16414: *934825 open socket #7460 left in connection 7312
После завершения реалоада:
$ sudo ss -tnp state close-wait | wc -l
1
$ sudo ss -tnp state established | grep angie | wc -l
13
Интерпретация: сообщение open socket #N left in connection M генерируется самой Angie при завершении воркера, когда она обнаруживает, что структура соединения (ngx_connection_t) всё ещё ссылается на непустой файловый дескриптор, хотя штатный код обработки запроса его не закрыл. Раз у нас keepalive_timeout 0, в пуле воркера в принципе не должно быть простаивающих keepalive-соединений — то есть все обнаруженные и принудительно закрытые при shutdown соединения являются именно этой утечкой, а не легитимным простаивающим трафиком.
Что уже проверено и исключено
- Ошибки авторизации (
InvalidAccessKeyId) как источник утечки — проверено в логе апстрима, за 7 дней на проблемном узле 0 таких ошибок. Не является причиной. - Собственная ошибка апстрима (S3 gateway):
"failed to discard put payload, probably goroutine leaks"(приcontext canceled+unexpected EOFна PUT) — встречена только 1 раз за 12+ часов, не может объяснить 32133 зависших сокета. Возможно, отдельная, параллельная проблема на стороне gateway, но не основной источник. - nginx trac #2145 (“CLOSE_WAIT socket leak in downstream connections with keepalive”) — тематически похож (nginx отвечает раньше, чем дочитал тело, не реагирует на FIN), но по независимому воспроизведению (GitHub - tonyo/nginx-too-many-close-wait: Repo to reproduce a CLOSE_WAIT socket leak in Nginx (https://trac.nginx.org/nginx/ticket/2145) · GitHub) эта проблема не воспроизводится при
keepalive_timeout 0— то есть это, вероятно, другой дефект, не тот же самый. - Проверил открытый nginx/nginx#778 (порча
aws-chunkedтрейлера при HTTPS-проксировании) — похожий контекст трафика (S3 PUT с aws-chunked + TLS), но другой класс проблемы (искажение данных, видимая клиенту ошибка), прямой связи с CLOSE_WAIT не установлено. - Публичных описаний точно такой же комбинации (
keepalive_timeout 0+proxy_request_buffering off→ перманентный CLOSE_WAIT) в открытом поиске найти не удалось.
Рабочая гипотеза (не подтверждена, требует проверки со стороны разработчиков Angie)
При proxy_request_buffering off Angie стримит тело клиентского запроса в апстрим по мере поступления. Похоже, что в некоторых случаях — предположительно когда апстрим успевает ответить раньше, чем долетел небольшой завершающий хвост тела запроса (для aws-chunked PUT это финальный чанк + трейлер с чексуммой) — Angie при keepalive_timeout 0 переходит к закрытию соединения, но связанный с этим соединением файловый дескриптор перестаёт отслеживаться (никто больше не вызывает read()/close() на нём), и последующий FIN + оставшиеся байты от клиента остаются необработанными навсегда.
Фиксированный размер Recv-Q 25 во всех случаях наводит на мысль, что это конкретный, воспроизводимый паттерн, а не случайная гонка — но мы не проверяли это через tcpdump, поэтому не можем подтвердить содержимое этих 25 байт с уверенностью.
Вопросы к разработчикам / что было бы полезно узнать
- Известен ли похожий дефект в этой версии (1.10.3) или более поздних? Был ли патч, затрагивающий взаимодействие
keepalive_timeout 0+proxy_request_buffering off+ недочитанное тело запроса? - Есть ли способ на уровне конфигурации гарантированно избежать этой утечки, не отказываясь от
proxy_request_buffering off(это нужно нам для потоковых загрузок больших объектов без буферизации на диск/в память)? - Могли бы прокомментировать взаимосвязь между
lingering_close/lingering_time/lingering_timeoutи этим сценарием — применяется ли эта логика вообще в путиkeepalive_timeout 0?
Что готовы предоставить дополнительно
- Полную конфигурацию соответствующего server-блока.
tcpdump-снятие трафика на воспроизводимом стенде по запросу.- Точное количество и timeline накопления
CLOSE_WAITза более длительный период, если нужно.