Ein hoher Steinbau mit markanten Staffelgiebeln und großen Rundbogentoren schließt den Schlosshof nach Norden ab. Es ist die ehemalige Schlossscheuer.
Stolz prangt das Doppelwappen der Erbauer Friedrich von Nippenburg und seiner Frau Kunigunda auf der Südseite des Gebäudes. Zehntscheuern waren oft die größten Bauwerke des Ortes (abgesehen von den Kirchengebäuden), nicht nur, weil sie erhebliche Mengen an verschiedenen Naturalabgaben aufnehmen mussten, sondern auch, weil sie den Herrschaftsanspruch der Zehntherren vor Ort dokumentierten.
Schwieberdingen war über Jahrhunderte ein „geteilter Flecken“, dessen Bewohner entweder unter württembergischer oder unter ritterschaftlicher Grundherrschaft standen und entsprechend abgabepflichtig waren. Die von den Nippenburgern erbaute stattliche Schlossscheuer war also auch eine „Machtdemonstration“ gegenüber dem Hause Württemberg.
Die Württemberger konnten 1565/66 auf ihrem Besitz in unmittelbarer Nachbarschaft zur Schlossscheuer lediglich eine kleine Zehntscheuer, den sogenannten "Fruchtkasten", erbauen und mussten immer wieder Lagerraum gegen „Scheurenzins“ anmieten.
Im Jahre 1770 änderten sich die Machtverhältnisse im Ort jedoch. Nachfahren der Nippenburger, die Herren von Wallbrunn, mussten wegen Misswirtschaft den gesamten Ritterbesitz im Ort an das württembergische Kameralamt verkaufen. Fortan nutzten die Württemberger die Schlossscheuer bis zur Ablösung des Zehnten und dem Verkauf Mitte des 19. Jahrhunderts.
Heute beherbergt die Schlossscheuer verschiedene Ladengeschäfte und Wohnungen.