Joué d'abord à main nue, le jeu de paume évolue à la fin du moyen âge vers un jeu de battoirs ou de raquettes. La raquette et le battoir étant des objets d'un certain prix, leur usage les réserve par définition à la « noblesse ». Pour les « vilains » (non nobles), le jeu reste un « jeu de main ».
Autre explication, elle trouverait son origine au Moyen Âge. Elle était alors utilisée en référence aux « vilains », dont les altercations finissaient souvent en véritables bagarres.
Aujourd'hui, elle fait plutôt allusion au sexe, d’où la variation : « Jeu d’hymen, jeu de vilain »