Cela vient du XIIe siecle, lors de la deuxième croisade.
Pour faire court, Louis VII et Conrad subirent échec sur échec, et revinrent dans leurs pays respectifs avec rien d'autre (ou presque) qu'un nouvel arbre fruitier : le prunier.
Les milliers de morts engendrés par cette croisade, c'etait donc. pour des prunes !
Complement internaute :
Les premiers colporteurs français se mirent ensuite à distribuer des prunes sur les chemins, mais sans rien dire du tout à personne. Les marchands les leur vendirent, mais pas trop cher. Ils se mirent à en vendre de plus en plus, mais pas trop cher encore. A la fin, les pruneaux de cette génération ont la réputation d'être bon marché, ce qui leur donne une certaine qualité.