¿Puedo desactivar temporalmente un webhook de Celoxis?

Sí. Desactive la opción "Habilitado" para pausar las notificaciones sin eliminar el webhook.