De basis voor het latere Villa Erica wordt in 1844 gelegd als onderwijzer Willem van Loon zich in Hilversum vestigt en een perceel grond koopt waar hij een U-vormig huis laat bouwen bestemd als woning en kostschool. De kostschool sluit in 1864 zijn deuren en twee jaar later koopt Eduard Constantijn Boissevain gehuwd met de Engelse Emma Burridge Nicholls, de voormalige kostschool. Dit echtpaar neemt het huis in gebruik als tweede huis en geeft het de naam Villa Erica. In 1867 bestaat het geheel uit een huis, tuin en is er een schuur bijgebouwd. Het ontwerp van de tuin is van H. Copijn en zal dateren van ongeveer 1867 en is ontworpen in de landschapsstijl.
Na het overlijden van Eduard Boissevain in 1885 vererft het om uiteindelijk in 1887 verkocht te worden. Nieuwe eigenaar is Hendrik van Beeck Vollenhoven. Al nel verkoopt Hendrik van Beeck Vollenhoven het huis met de tuinen al weer en wel aan Coenraad Willem Groskamp gehuwd met Rudolphine Geertruida Johanna Van Delden. Groskamp bezit ook een stuk bouwland aan de oostzijde van het hoofdhuis en hij voegt het geheel samen, waarna het de grandeur van een buitenplaats zal krijgen. Dat begint met een grondige verbouwing en aanbouw van de U-vormige villa. In maart 1889 wordt de bouw van een koetshuis met stallingen en de verbouw van Villa Erica aanbesteed onder beheer van architect Isaac Gosschalk. Na de verbouwing wordt rond 1893 de tuin- en parkaanleg aangepast en het is zeer waarschijnlijk dat dit onder leiding van een tuin- en landschapsarchitect is gerealiseerd, waarschijnlijk wederom een Copijn. Waarschijnlijk is niet lang voor het overlijden van Coenraad het geheel uitgebreid met een tuinmuur en kassen.
In 1896 wordt het geheel gekocht door Gerardus Mathias Titsingh, commissionair in effecten uit Amsterdam, die het koetshuis met de moestuin afsplitst en een jaar later beide objecten doorverkoopt. Het is de Maatschappij tot Exploitatie van het Oranje Hotel te Hilversum die de villa met de tuin en de kassen koopt. Villa Erica krijgt een totaal andere functie wanneer het wordt omgevormd tot Oranjehotel. Het concept 'hotel' slaat niet erg aan en nadat het meerdere keren van eigenaar wisselt, sluit het hotel zijn deuren in 1912. In de tussentijd is er regelmatig bijgebouwd aan de villa. Uiteindelijk koopt het bestuur van de Openbare Leeszaal en Bibliotheek de villa in 1932. Direct na de bevrijding is de villa nog enige tijd in gebruik als ontmoetingsplaats voor Canadese militairen, de Maple Leaf Club. In januari 1946 nam de bibliotheek het pand weer in gebruik, om in 1949 opnieuw het pand aan de achterzijde uit te bouwen.
