Vraiment con. Complètement stupide.
Il faut probablement remonter à l'expression « con comme une bite » pour arriver, par des chemins à peine tortueux, jusqu'au balai.
Dans cette expression, « con » a un double sens. Il y est en effet ajouté une opposition volontaire entre le « con » (sexe de la femme), et la « bite » (sexe de l'homme), dont on peut confirmer qu'il ne brille pas par son intelligence, prêt qu'il est à s'amarrer à n'importe quel orifice un tant soit peu accueillant sans réfléchir aux conséquences éventuelles (adultère, paternité, maladie sexuellement transmissible...).
Or, en argot, la « bite » se dit aussi le « manche ». Et que trouve-t-on souvent au bout d'un manche ?
C'est ainsi que, par association d'idées successives, un « con comme une bite » serait devenu « con comme un manche » puis « con comme un balai ».