Opgericht in 1800 door Sir George Downing met geld aan hem door zijn vader. De familie waren verantwoordelijk voor het bouwen van Downing Street in Londen en in feite het college heeft een van de oorspronkelijke deuren van nummer 10 nog opknoping. William Wilkins, een groot fan van de neo-klassieke architectuur beweging, die het college. Hij ontwierp de eerste Cambridge College volledig moeten worden op een site, een campus van de Universiteit.