TCP-хендшейком целиком ядро занимается, пользовательские приложения в этом участия никакого не принимают. Поэтому нужно разбираться почему ядро не отвечает на SYN, если я правильно понял наблюдаемую картину. В dmesg ошибок никаких нет?
В dmesg как и в логах ничего криминального