S'emploie ironiquement pour exprimer son étonnement face à l'excès de quelque chose, aux excès de quelqu'un, ou face au caractère outrancier d'une attitude ou d'un comportement.
Cette expression daterait de la deuxième moitié du 18e siècle.
Son sens évident est celui d'une personne qui demanderait qu'on l'excuse d'avoir fait quelque chose qui serait très inférieur aux espérances (le « peu à excuser »).
C'est pourquoi elle est doublement ironique car, lorsqu'elle s'emploie, non seulement celui qui la prononce n'est pas responsable de ce qu'il demande d'excuser, mais elle s'utilise en rapport à quelque chose qui a des proportions importantes, et même plutôt excessives.