Het kasteel van Romont is in 1240 door Pierre II van Savoye (ook wel de Kleine Charlemagne genoemd, 1203-1268) gebouwd ter bescherming van de inwoners van de ook door hem gestichte stad.
In de eeuwen daarna is het verder uitgebouwd. De huidige staat dateert uit de zestiende eeuw, nadat in 1536 Freiburg (in alliantie met Bern) Savoie uit Vaud heeft verdreven. Deze uitbouw heeft de kenmerken van de laatgotische stijl.
Het kasteel herbergt tegenwoordig het glasmuseum (Vitromusée), dat een unieke verzameling glas in lood laat zien vanaf de Middeleeuwen, Renaissance, Jugendstil tot hedendaagse werken.