Ça m'agace, ça m'énerve ! / Exaspérer, importuner quelqu'un.
On trouve la forme « les gonfler (à quelqu'un) ».
Dans ce cas, il ne fait aucun doute que « les » désigne les roubignolles, les coucougnettes, forme à assimiler à « casser les couilles ».
On peut aussi y voir un sens figuré où un individu est tellement « gonflé », importuné à l'excès par un autre, qu'il approche de l'explosion (de colère).
« Gonfler », c'est aussi exagérer (gonfler son CV, par exemple) et quelqu'un qui en importune un autre au point de franchir les bornes des limites, n'est-ce pas quelqu'un qui exagère ?
Mais on peut également se référer à un ancien sens argotique du verbe, donné par Esnault : à la fin du 19e siècle, en effet, « gonfler » voulait dire « assommer » ; or, quelqu'un d'assommant, au figuré, n'est-ce pas quelqu'un qui nous importune ?