Das Stadtgebiet zwischen Humboldtstraße, Kasernenstraße, Oker und Moltkestraße war bis weit ins 19. Jh. hinein ein unbebautes Areal vor den Toren der Stadt mit der Ortsbezeichnung Rammelsberg.

1837 begannen erste Planungen hier einen Kasernenstandort für die herzogliche Infanterie auszubauen. 1841–1843 wurde ein von Hofbaurat Carl Theodor Ottmer (1800–1843) entworfener repräsentativer Kasernenbau (s. Abb.1 und 2) – die sogenannte Waterloo-Kaserne – errichtet. Das monumentale in Teilen viergeschossige Gebäude mit einer Fassade in „florentinischem Style“ war für 1.500 Infanteriesoldaten ausgelegt. Im Lageplan von 1865 (s. Abb.2) ist östlich an das Kasernenareal angrenzend noch der alte gezackte Verlauf der heutigen Kasernenstraße erkennbar, der die alte Bastionsbefestigung nachzeichnete.

Um 1880 erfolgte eine erste bauliche Erweiterung auf dem Kasernengelände durch die Gebäude Nr. 4, 5, 6 (Abb.3). Diese einfachen Ziegelbauten sind erhalten und werden heute u. a. vom Staatlichen Baumanagement als Bürogebäude genutzt.
Kurz vor dem 1. Weltkrieg wurde das Kasernenareal erneut baulich ergänzt. Nun entstanden die das Areal heute noch prägenden Gebäude Nr. 1, 2, 3 (Abb.3). Hier ist insbesondere das dreigeschossige Kasernengebäude Humboldtstraße 30 (Nr. 1) zu erwähnen. Diese sogenannte Vendôme-Kaserne wurde 1908 als Ergänzung für die zu klein gewordene Waterloo-Kaserne erbaut.

Nach dem 1. Weltkrieg wurde das Kasernenareal u. a. von der Reichswehr genutzt. Im 2. Weltkrieg wurde die Waterloo-Kaserne durch Bomben schwer beschädigt und in der Folge nach dem Krieg abgerissen. An ihrer Stelle entstand entlang der Kasernenstraße in den 1960er Jahren das Hauptzollamt.

Im südwestlichen Außenbereich des Kasernengeländes wurde 1956 zunächst ein Fußballfeld mit Stehtribünen für den Sportverein Leu angelegt, später wurde hier die südliche Erweiterung des Botanischen Gartens umgesetzt sowie 1998 eine Kindertagesstätte erbaut.

Zuletzt wurden in den Jahren 2007–2009 in der Mitte des ehemaligen Kasernenareals vier Stadtvillen mit hochwertigem Wohnungsbau realisiert und das Gebäude Humboldtstraße 30 zu einem Studentenwohnheim umgenutzt. Damit wurde ein weiterer stadtbildprägender Kasernenbau der ehemaligen Garnisonsstadt Braunschweig einer zivilen Wohnnutzung zugeführt.