Il Collège des Oratoriens, situato sul Quai Henri IV, fu costruito nel 1614 sul sito dell'antica casa dell'armatore di Dieppe Jehan Ango "La Pensée".
In seguito al Grande Bombardamento, un attacco anglo-olandese che portò alla distruzione del centro di Dieppe nel 1694, compreso il collegio. All'inizio del XVIII secolo fu eretto un nuovo edificio in mattoni e pietra, suddiviso in tre parti e circondato da un cortile rettangolare.
Il Collège des Oratoriens svolse una funzione educativa fino alla Rivoluzione francese, quando l'edificio fu requisito prima di tornare alla sua funzione didattica originaria, diventando a sua volta un collegio pubblico e poi un liceo. Dopo l'incendio del 1938, nel 1959 fu costruita una scuola sulle alture di Dieppe.
Oggi una parte dell'edificio è occupata dalla scuola materna, la cui mensa si trova nell'ex cappella. L'altra parte è occupata da appartamenti.
