1555 wies Herzog Christoph dem Mesner und Lehrer das vorreformatorische Pfarrhaus am „Schulberg“ als Schulhaus zu. Wegen Baufälligkeit war ein Neubau erforderlich. Um 1580 wurde daher oberhalb der Georgskirche ein Schulhaus mit einem Schulraum und einer Lehrerwohnung errichtet.
Bis 1615 diente dieses Schulhaus auch als Rathaus. Quellen belegen, dass der Unterricht wegen „… lang anhaltender Ratshändel“ öfter mal ausfiel.
Um 1800 war das Gebäude baufällig und für rund 160 Schüler viel zu eng. Es wurde zusammen mit der angrenzenden Heiligenscheuer abgerissen und durch ein neues Schulhaus ersetzt. Für die Finanzierung des Schulhausbaus traten Pfarrer Breyer und seine Verwandten als Kreditgeber auf, wie das Rechnungsbuch der Kirchenpflege von 1806 zeigt. Pfarrer Breyer beschreibt das Haus 1825 so: „Im Erdgeschoss befindet sich eine große Schulstube, die durch eine Bretterwand in zwei ungleiche Zimmer abgeteilt ist. In dem einen Zimmer lehrt im vorderen Teil ein Lehrer die älteren Knaben und im hinteren Teil ein zweiter die kleinen Mädchen und Knaben. Im anderen Zimmer wird vom dritten Lehrer Schule mit den älteren Mädchen gehalten.“
Auch dieses Gebäude wurde schnell zu klein und deshalb 1843 nach Osten erweitert. Im Anbau waren ein Lehrzimmer für den Unterlehrer, ein Reservelehrzimmer sowie ein heizbarer Wohn- und Schlafraum für den Unterlehrer untergebracht.
1874 wurde das Reservelehrzimmer für die neu gegründete Kleinkinderschule zur Verfügung gestellt. Diese Zimmer und die übrigen Schulräume wurden bis zur Fertigstellung des Kindergartens „Oberer Schulberg“ 1966 für die Kleinsten genutzt.
Noch einmal zogen Schulklassen in dieses Gebäude ein, bis 1970 die Schule in den Herrenwiesen fertiggestellt war. Danach beherbergte es die Ortsbücherei und verschiedene Vereine.