Fondé en 1800 par Sir George Downing avec de l'argent laissé par son père. La famille étaient responsables de la construction de Downing Street à Londres et, en fait, le collège dispose d'une des portes d'origine à partir du numéro 10 encore pendaison. William Wilkins, un grand fan de l'architecture néo-classique, le mouvement, conçu le collège. Il a conçu le premier College de Cambridge pour être complètement sur un site, un campus au sein de l'Université.