Das sogenannte Schlössle ist ein ehemaliger Adelssitz in unmittelbarer Nachbarschaft zur Georgskirche. Im 16. Jahrhundert wurde es von Mitgliedern der ortsansässigen Nippenburger bewohnt. 1501 ist Lorenz von Nippenburg, Kirchherr zu Schwieberdingen, genannt. Des „Herrn Lorenzen Haus“ wird 1591 beschrieben als „… Behausung mit Hofraitin, Scheuren und Garten… mit einer Mauer umfangen … oben im Dorf.“
Anfang des 18. Jahrhunderts wurde das Wohnhaus abgerissen und neu erbaut. Im Erdgeschoss befanden sich ein Stall und ein Milchgewölbe mit Speisekammer. Im darüber liegenden Wohnstock befanden sich drei heizbare Zimmer, Küche und Speisekammer. Im zweiten Stock wurden Feste gefeiert. Hier gab es zwei heizbare Zimmer und einen großen Festsaal.
Die Herren von Wallbrunn, die das Gut in dieser Zeit bewirtschafteten, verarmten und mussten 1774 ihren Besitz verkaufen. Es folgten verschiedene adlige Besitzer.
Der berühmteste Besitzer war von 1791-1798 Erbprinz Friedrich von Württemberg, der spätere württembergische König Friedrich I. Er nutzte das Schlössle zeitweilig als Sommerresidenz. Im 19. Jahrhundert wechselte das Schlössle immer wieder die Besitzer, bis es 1912 von der Gemeinde erworben wurde. Im Wohngebäude wurden Lehrerwohnungen eingerichtet.
An Stelle der Schlössle-Scheuer ließ die Gemeinde 1914 ein Schulhaus bauen. Das Gebäude zeigt Putzreliefs mit Jugendstilornamenten. Die zur Straße zeigende Wand ist durch senkrechte wenig vorspringende Mauerstreifen (Lisenen) gegliedert.
1957 wurden weitere Gebäude und das angrenzende Bauerngehöft in der Hirschstraße abgerissen und ein weiterer Schulhausbau erstellt. Der Übergang vom oberen zum unteren Pausenhof rund um die Kastanie wurde so gestaltet, dass er als Freilichtbühne genutzt werden kann.