De naam Pavia is een Latijnse afleiding van de achternaam Pauw, Pavo. In 1913 wordt het terrein van de buitenplaats aangekocht door de gemeente Zeist. Door samenvoeging met het bosgebied van Hoog Beek en Rooyen ontstaat een aansluitend wandelgebied van 209 ha met 5,5 km bospaden. In 1947 wordt het huis verkocht aan de Vereniging van Christelijk Hoger en Middelbaar Onderwijs, die het tot 1976 als meisjesinternaat gebruikt. De volgende eigenaren gebruiken het huis voor de opvang van Antillianen en politieke vluchtelingen uit Chili en Argentinië. In 1985 bouwt woningbouwvereniging ‘De Gecombineerde’ in het huis 17 appartementen. Vanaf 1989 verzorgt Regionale Omroep Radio Utrecht vanuit Villa Pavia haar uitzendingen. In 2004 restaureert nieuwe eigenaar, Habion Vastgoed, het landhuis en maakt er 16 luxeappartementen in voor seniorenhuisvesting.