Kameduli to mnisi benedyktyńscy realizujący ideały reformy zapoczątkowanej przez Romualda z Rawenny. Nazwa pochodzi od Campo di Maldoli, (Campus Maldoli), czyli Pola Maldolego położonego w dolinie w pobliżu Arezzo, gdzie, według tradycji, Romuald z Rawenny wybudował pierwszy monaster i pustelnię.    

   Pierwsi uczniowie św. Romualda przybyli do Polski już w XI wieku. Byli to mnisi pustelnicy Jan i Benedykt – zamieszkali oni w pustelni w Międzyrzeczu razem z towarzyszami. W listopadzie 1003 roku pogańscy chłopi napadli na klasztor ograbili go i wymordowali zakonników. Powstanie następnych pustelni wiąże się z ruchem kontrreformacji. Eremy budowali i uposażali dobrami ziemskimi fundatorzy (królowie, magnaci i szlachta), którzy również dbali, aby klasztor miał zapewnione warunki do bytowania. Fundowanie pustelniczych tworzenie wspólnot pustelniczych trwało w Polsce przez okres około 140 lat. Powstały wówczas następujące pustelnie kamedulskie:

1. Pustelnia Srebrnej Góry na krakowskich Bielanach (Eremus Montis Argentini), ufundowana przez Mikołaja Wolskiego. Pierwsi kameduli przybyli do fundacji w roku 1605

2. Pustelnia Złotego Lasu w Rytwianach (Eremus Silva Aurea). Fundacja ta powstała w roku 1624 za panowania Zygmunta III Wazy a jej fundatorem był Jan Magnus Tęczyński.

3. Pustelnia Królewskiej Góry na warszawskich Bielanach (Eremus Mons Regius). Fundacja była wotum wdzięczności króla polskiego Władysława IV Wazy za uzyskaną koronę i odniesione zwycięstwa (1639)

4. Pustelnia Góry Pokoju w Pożajściu na Litwie (Eremus Mons Pacis). Powstała w roku 1662 dzięki fundatorowi Krzysztofowi Zygmuntowi Pacowi, Kanclerzowi Wielkiemu Litewskiemu.

5. Pustelnia Pięciu Braci Męczenników na Sowiej Górze w Bieniszewie (Eremus Quinque Martyrum). Inicjatorem powołania do istnienia tej pustelni był o. Sylwan Jan Boselli (1663)

6. Pustelnia Wyspy Wigierskiej w Puszczy Sudawskiej na Suwalszczyźnie (Eremus Insula Vigrensis). Utworzona z fundacji króla Jana II Kazimierza w 1667 roku.

7. Pustelnia Margrabska w Szańcu koło Pińczowa (Eremus Marchionalis). Fundatorem był margrabia Józef Władysław Gonzaga Myszkowski z Mirowa, kasztelan sandomierski.

8. Pustelnia Świętego Krzyża w Milatynie koło Lwowa. Inicjatorką powstania pustelni była Teresa z Kraśnickich Łączyńska (1738)

   16 czerwca 1820 roku, na mocy ustawy o zniesieniu klasztorów, dokonano kasaty konwentu w Rytwianach. Ostatni czterej zakonnicy przebywali w pustelni do 1825 roku, kiedy to przeniesiono ich do eremu warszawskiego.

   W 1925 roku podjęto jeszcze jedną próbę przywrócenia dawnego stanu. Do klasztoru powrócili kameduli. Jednak stan opuszczonych od lat zabudowań uniemożliwiał zamieszkanie w nich. Z tego też powodu w rok później zakonnicy zostali z polecenia przełożonych odwołani. W 1935 roku świątynia stała się kościołem parafialnym dla mieszkańców Rytwian, Kłody i okolicznych wiosek. Po II wojnie światowej reaktywowano, oprócz istniejącego na krakowskich Bielanach, erem bieniszewski.

   Klasztor zachował się w formie prawie nie zmienionej w stosunku do pierwotnego założenia.  W kryptach pod kościołem znajdują się groby zakonników, w kapitularzu grobowiec rodziny Radziwiłłów, a w podziemiach kaplicy p.w. św. Romualda sarkofag Stanisława Łukasza Opalińskiego. Ołtarz główny klasztoru zdobi obraz  przeora rytwiańskiego klasztoru w latach 1623–1632 Venanto da Subiaco. Między 1717 a 1719 rokiem architekt Giovanni Spazzio wzmocnił fundamenty pod kościołem. Równolegle, obok prac budowlanych, odnowiono również malowidła w świątyni. Ich restauracja powierzona została malarzowi Karolowi de Prevot. Osobliwością Klasztoru jest ukryta w jednej z szaf unikatowa w skali kraju figura woskowa (pośmiertna maska), Anny Dziulanki – pół Włoszki niskiego stanu, wybranki magnata Opalińskiego, który stracił dla niej głowę, narażając na szwank reputację jednego z najznaczniejszych rodów ówczesnej Rzeczpospolitej.