Fundada em 1800 por Sir George Downing com dinheiro deixado para ele por seu pai. A família foi responsável pela construção Downing Street, em Londres, e na verdade, o Colégio conta com uma das portas originais de número 10 continua pendurado. William Wilkins, um grande fã do estilo neo-clássico arquitectónico circulação, projetou o colégio. Ele projetou o primeiro Cambridge College de ser completamente em um site, dentro de um campus da Universidade.