1360 stiftete Friedrich von Nippenburg Grundbesitz zur Besoldung eines Frühmessers. Die Aufgabe des „Frühmessers“ bestand darin, täglich einen Frühgottesdienst in der Kirche abzuhalten. Neben Ackerland und Wiesen gehörte zur Stiftung auch das Anwesen gegenüber der Kirche, bestehend aus Haus, Hof, Scheuer und Garten. Die Frühmesser lebten bis 1555 im Frühmesshaus. Danach wurde das Haus zum evangelischen Pfarrhaus.

1579 wurde das heutige Fachwerkgebäude auf den Grundmauern des Frühmesshauses erbaut. Aus dieser Zeit stammt eine noch im Original erhaltene Kassettendecke in der ehemaligen Stubenkammer.

Am Ende des Dreißigjährigen Krieges muss das Haus in einem schlimmen Zustand gewesen sein. Ein Baubericht aus dem Jahr 1649 zeigt, dass fast alles, was nicht niet- und nagelfest war, fehlte: Türen, Fenster, Fußbodenbretter, Stiegen und Treppen. Alles musste erneuert werden. 1768 entstand im Dachgeschoss aus zwei Kammern eine schöne Studierstube mit Stuckornamenten an der Decke.

1822 erhielt das Pfarrhaus einen Anbau mit einem repräsentativen Besuchszimmer.

Anfang des 20. Jahrhunderts gestaltete man den steilen Treppenaufgang bis in den Dachstock völlig neu. Das schöne Treppengeländer aus Kirschbaumholz stammt aus dieser Zeit.

In den 1920er Jahren wurde der direkte Zugang zum Haus von der Straße her geschaffen. Davor war der Eingang nur von der Durchfahrt aus möglich. Die Freilegung des Fachwerks erfolgte bei der grundlegenden Sanierung 1990.

Auf der Urkatasterkarte von 1831 ist der Pfarrgarten mit Wegkreuz und Rondell gut ersichtlich. So angelegt wurde das Gartengelände von den Pfarrfamilien als Küchengarten genutzt.

Seit 1991 beherbergt das Haus das Ortsmuseum von Schwieberdingen. Auf vier Stockwerken zeigt es die Arbeits- und Lebenswelt der Bevölkerung in früheren Zeiten. Das Museum wird vom Heimat- und Kulturkreis „Schwieberdinger Gruppe“ e.V. betreut
Mehr Infos zum Museum