Le panier, du latin « panarium », fut d'abord une corbeille à pain, puis un réceptacle à provisions de toutes sortes.
Sur les marchés, les vendeurs y présentaient leurs produits (fruits et légumes) en mettant évidemment les plus beaux sur le dessus. Dès la fin du 17e siècle, le « dessus du panier », c'est-à-dire ce qu'il y a de meilleur, quitte les étals des commerçants pour désigner les .personnes appartenant aux couches sociales les plus aisées.
On imagine que le « fond du panier » a connu le même usage métaphorique pour désigner le moins bon et le rebut.
Mais dans certains cas, lorsque les appétits des uns et des autres sont aiguisés par des motivations égoïstes, peu importe que ce soit le dessus ou le fond du panier, l'ensemble forme un beau panier de crabes.