Il n'existe aucune certitude quant à l'origine de cette expression qui est attestée au XVIème siècle, mais ce que l'on sait, c'est qu'au Moyen Âge, la tenue usuelle comprenait des manches qui n'étaient pas cousues de manière définitive et qu'on pouvait donc changer facilement et partiellement de tenue en changeant simplement sa paire de manches.
Elles étaient fixées avec des lacets, des rubans ou des agrafes. Avec ce système, on pouvait adapter sa tenue en changeant de manches à volonté selon…
son humeur ou ses activités : en cuir pour l’escrime ; en dentelle sur une robe ; ou tout simplement pour disposer d’une nouvelle tenue à moindre frais.
Les amoureux échangeaient une paire de manches comme gage de fidélité amoureuse. Dans ce contexte, changer de manches signifiait changer d’amoureux. Une autre tradition consistait pour les femmes à remettre leurs manches à leur soupirant avant un tournoi; celui-ci les affichait alors fièrement sur sa lance ou sur son bouclier.
A la même époque, on pouvait changer les manches de ses vêtements en fonction des activités que l'on allait exercer. Passer d'une paire de manches à une autre signifiait donc que l'on allait faire des choses tout à fait différentes.
Beaucoup plus tard, au moment de l'apparition de l'expression, il a existé des demi-manches (qui partaient du coude au poignet), servant à protéger les manches elles-mêmes et aisément interchangeables.
Cette expression est restée pour signifier que l'on passe d'un sujet ou d'une occupation à une autre
sans aucun lien, mais souvent plus difficile ou compliquée que la précédente.