Počiatky tejto modlitby siahajú do 11. storočia, keď sa mnísi v kláštoroch modlili breviár, ktorého súčasťou bolo 150 žalmov. Nie všetci mnísi však vedeli čítať, preto sa ako náhradu modlili 150 otčenášov. Táto modlitba sa rozšírila z kláštorov aj medzi veriacich laikov a stala sa veľmi obľúbenou.
Ruženec sa v jednotlivých krajinách vyvíjal rôznym spôsobom a rôznou rýchlosťou. Vplyv na to mali horliví ctitelia Panny Márie z radov biskupov, kňazov, laikov a rehoľníkov v kláštoroch. Napríklad o sv. Pavlovi pustovníkovi sa z kresťanských dôb zachovalo rozprávanie, že si denne nazbieral do vrecka 300 kamienkov a ako sa modlil postupne kamienky jeden po druhom vyhadzoval.
Už v roku 1198 parížsky biskup pozýval veriacich, aby recitovali stopäťdesiatkrát modlitbu Zdravas spolu s Otčenášom a modlitbou Verím v Boha.
Jedným z významných rozširovateľov a upravovateľov ruženca je Dominik Hélion z Pruska, ktorý žil v rokoch 1384–1460. Urobil rozhodujúci krok k usporiadaniu a štruktúre ruženca, ktorý sa používa dodnes. Navrhol pripojiť k päťdesiatim Zdravasom rozjímanie o evanjeliových tajomstvách, pripomínajúcich radostné, bolestné a slávnostné tajomstvá.
Ďalším propagátorom ruženca bol dominikán Alan de la Roche, ktorý v roku 1470 založil v Douai vo Francúzsku prvé Ružencové bratstvo. Hovoril, že päťdesiat Zdravasov je málo, preto sa domáhal najmenej stopäťdesiatich, a to s rozjímaním tajomstiev. Boli rozdelené do troch skupín - tajomstvá vtelenia, tajomstvá Kristovho utrpenia a smrti a tajomstvá oslávenia Krista a Márie.
V roku 1476 publikuje dominikán Jakub Sprenger Štatút Ružencového bratstva pre ním založené bratstvá. Neskôr, v roku 1521, bol ruženec zjednodušený, a to dominikánom Albertom da Castelom. Castela zredukoval tajomstvá na pätnásť a odporúčal, aby dodatky slúžili ako jednoduché komentáre k tajomstvám, alebo ich pripomínali počas recitovania Zdravasov.
Rozdelenie modlitby ruženca na desať Zdravasov a jeden Otčenáš sa pripisuje kolínskemu kartuziánovi Heirichovi von Kalkar v druhej polovici 15. storočia.
Približne okolo roku 1600 boli do ruženca vložené tri vzývania: viera, nádej a láska, symbolizované troma Zdravasmi.
Hoci ruženec prechádzal aj naďalej menšími zmenami, od 16.-17. storočia je možné hovoriť už o jeho dnešnej podobe.
Od roku 1716 slávi celý katolícky svet 7. október ako sviatok Ružencovej Panny Márie a október ako mesiac posvätného ruženca. Vykonané boli ešte dve úpravy a to v roku 1917, kedy sa zjavila Panna Mária vo Fatime a na záver desiatka bola pridaná modlitba: „Ó Ježišu, odpusť nám naše hriechy…“ a poslednou zmenou bolo pridanie ruženca Svetla pápežom Jánom Pavlom II.