Has montado Mautic en un servidor limpio, lo has probado y funciona todo. Estás configurando el correo electrónico, haces la comprobación de conexión, todo va bien. Pero es llegar al envío de prueba del correo, y se queda eternamente pensando, hasta llegar a un error 503 del servidor.
Este error, unido a los mensajes que devuelve el archivo de log del servidor, pueden llevarte a dar vueltas inútilmente.
Por otro lado, el log del propio Mautic (en app/logs), tampoco te va a ayudar mucho:

Realmente este problema lo que está indicando es que muy probablemente tengas que instalar el paquete PHP-Imap. Dependiendo de si usas CentOS o Ubuntu, la instalación puede variar un poco, esto mejor lo buscas según sea tu distro. Y al terminar de instalarlo, recuerda reiniciar Apache (o Nginx) y PHP-FPM si lo estás utilizando.