Pappilan päärakennus on arkkitehti August Bomanin käsialaa ja valmistui 1863. Uusrenessanssityylisessä pappilassa on 13 huonetta ja kuusikulmainen lasikuisti. Vuonna 1911 pappilan päätyyn lisättiin tulenkestävä arkistosiipi.
Nykyinen pappila rakennettiin, koska aiempi vuonna 1815 palaneen pappilan tilalle noussut rakennus oli huonokuntoinen ja käynyt liian pieneksi. Vanha pappila purettiin, ja siitä on jäänyt jäljelle vain talon alla sijainnut kellari, joka on yhä jäljellä nykyisen päärakennuksen ja luhtiaitan välissä.
Pappilassa ehti asua kaikkiaan kymmenen kirkkoherraa perheineen, ja kun viimeinen pappilassa asunut kirkkoherra siirtyi eläkkeelle, jäi rakennus tyhjilleen. Vuonna 1978 seurakunta vuokrasi pappilan päärakennuksen museokäyttöön. Vuosien kuluessa koko pappilan pihapiiri on siirtynyt rakennus kerrallaan museon näyttely- tai varastotiloiksi. Myös puutarha on kunnostettu menneitä vuosia mukailevaan asuunsa. Pappilaan alun perin kuuluneet laajat pellot ja metsät eivät kuitenkaan enää kuulu alueeseen.
Papisto sai Suomessa pitkälle 1900-luvulle saakka huomattavan osan tuloistaan luontaisetuina pappiloihin kuuluvilta tiluksilta. Ympärivuotinen muonavahvuus saattoi olla huomattava, sillä lasten, suojattien ja lähisukulaisten lisäksi oli ruokittava lukuisat palkolliset ja mahdollinen talkooväki. Esimerkiksi täällä Lohjalla kirkkoherra Emil Candolinin aikaan 1900-luvun alkupuolella tarjottiin päivittäin pappilan keittiössä sisäkön valmistama aamuruoka, puuroa ja voileipiä, pehtoorille, karjakolle, navetta-apulaiselle, tallimiehelle ja parille muulle työmiehelle sekä sisäkölle. Kirkkoherra sisarineen söi ruokasalissa. Vieraita kävi paljon, ja he saattoivat viipyä jopa viikkoja. Pappilan ruokatalouden tuli myös joustaa erilaisten juhlien tarpeisiin.
Iso-Pappila oli paitsi koti ja maatila myös seurakunnan virasto ja kanslia sekä paikkakunnan kulttuurikeskus. Pappilan pihanpuoleisessa kamarissa arkistosiiven kupeessa kastettiin, haettiin kuulutuksia ja vihittiin kymmeniä ja satoja lohjalaisia vuosikymmenten saatossa. Kirkkoherran työhuoneeseen oli rakennettu pieni alttari, ja viereisessä kamarissa oli peili ja tilaa siistiytymiseen ennen tärkeää toimitusta.
Pappilassa myös pidettiin erilaisten yhdistysten kokouksia, kokoonnuttiin merkkipäivinä ja järjestettiin loisteliaita juhlia. Juhlissa noudatettiin 1800-luvun lopulla hienostunutta etikettiä käsisuudelmineen ja tanssiaisten tarkkoine muodollisuuksineen. Keskustelukulttuuri oli sivistynyttä ja muodollista, asut laahuksien ja pitsien koristamia. Elävä musiikki ja useamman ruokalajin illalliset takasivat vieraiden viihtymisen.
Päärakennuksessa vietettiin säätyläiselämää, mutta sen pihapiirissä elettiin maalaistalon tavoin. Maatilaa hoiti tilanhoitaja, pehtoori, joka asui samassa pihapiirissä perheensä kanssa. Talon väkeen kuului myös karjakko ja muuta työväkeä. Kirkkoherra saattoi neuvoa ja käskeä tilanhoitoa koskevissa asioissa, mutta varsinainen työ kuului pehtoorin vastuulle.