Teile der Burg waren durch einen tiefen Ringgraben mit Vorwall zusätzlich geschützt. Von der Ursprünglichen Bausubstanz ist heute wegen der modernen Überbauung nur noch ein geringer Rest der ehemals das Burgplateau umgebenden Ringmauer sichtbar.

Über die Geschichte der mehrfach zerstörten Burg geben die Urkunden nur wenig Auskunft. Ihr Bau muss nach 1180 und vor dem Jahre 1203 erfolgt sein, in dem die Burg Lutterberg erstmals erwähnt wird. Auf diesen Zeitraum deuten auch einige Oberflächenfunde graublauer mittelalterlicher Tonscherben hin. Bauherr war vermutlich Graf Sigebodo von Lutterberg, der hier nach der spätestens 1190 erfolgten verwaltungstechnischen Aufteilung der alten Grafschaft Scharzfeld einen eigenen Verwaltungssitz für das neu begründete

1230 stirbt Sigebodo kinderlos gebliebener Sohn Heidenreich und das Erbe fällt an dessen Neffen Buchard von Scharzfeld , der eine neue Linie der Grafen von Lutterberg begründet. Nach deren Aussterben gelangt die Burg im Jahre 1405 als Lehen der Herzöge von Braunschweig in den Besitz der Grafen von Hohenstein.

In einer schon kurz darauf ausgebrochenen Fehde zwischen Hohenstein und Herzog vom Braunschweig wird sie jedoch 1415 zerstört. 1417 werden Burg und Grafschaft vom Herzogtum Braunschweig – Grubenhagen erneut als Lehen an die Grafschaft von Hohenstein vergeben und verbleiben dort bis 1593. Der Zeitpunkt der endgültigen Aufgabe der Burg Lutterberg ist unbekannt.

Die Sage vom Grafen von Lutterberg

Auf dem Hausberg von Bad Lauterberg stand einst eine Burg des Grafen von Lutterberg, eines Geschlechts, das sich durch Edelsinn von anderen auszeichnete, ein Schutz der Armen und Bedrängten. Dadurch kommt es fortwährend zum Streit mit dem habgierigen des Kloster Walkenried. Der Letzte Graf von Lutterberg hieß Hermann. Der mit Hildgard von Scharzfeld verlobt war. Beider Treffpunkt war der Frauenstein östlich der Ruine Scharzfeld. Einst ritt Graf Hermann durch die Aue, um die Geliebte zu sehen, da fiel er in einen Hinterhalt der Walkenrieder Mönche. Er wurde gebunden und in das Kloster gebracht, wo er sich durch Abtretung des größten Teils seiner Grafschaft lösen sollte. Als er dies jedoch nicht wollte, schlugen die Mönche beide Hände ab, so dass er Verbluten musste. Nun versuchten sie Hildegard zu fangen. Einst weilte sie bei dem frommen Klausner an der Steinkirche, als sie die Mönche heran reiten sah. In Todesangst hob sie die Hände betend zum Himmel. Da trat ein merkwürdiges Tier um die Felsenecke, ein Pferd mit einem langen geraden Horn auf der Stirn. Mit Hilfe des Klausners bestieg Sie das Einhorn und entkam den wütenden Mönchen. Diese stürzten den Klausener aus Rache von dem Felsen über der Steinkirche. Zerschmettert blieb er liegen. Hildegard wurde von dem Tier in die Einhornhöhle getragen, wo sie sicher war. So hatten die Walkenrieder Mönche ihr schändliches Ziel nicht erreicht. Hildegard starb unvermählt.

In sternenklaren Nächten kann man ihr an der Lutter unter dem Hausberg begegnen, wo sie den Grafen Hermann sucht. Sie weint leise vor sich hin. Wer Ihr unbemerkt folgt kann die goldenen Tränen finden und reich werden!