E' il 1922. Sono trascorsi sei mesi dal tragico incidente che è costato la vita a Matthew Crawley, e a Downton molti devono fare i conti con quella grave perdita. Mary non è in grado neppure di occuparsi del piccolo George che viene affidato notte e giorno a una tata. Isobel piange la scomparsa del suo unico figlio ed è solo grazie alla Signora Hughes che ritrova le energie per dedicarsi agli altri. Robert vuole amministrare Downton senza l'aiuto di Mary e deve prendere delle decisioni dolorose per poter pagare le altissime imposte di successione relative alla metà della tenuta, che ora è passata a suo nipote. La signorina O'Brien abbandona Downton Abbey all'improvviso per andare in India al seguito di Lady Flintshire, lasciando Cora senza cameriera personale. Si trova subito una sostituta: Edna Braithwaite che qualche tempo prima era stata cacciata a causa di una sua relazione, reputata sconveniente, con Branson. Thomas e la tata, la signorina West, sono ai ferri corti e lui esprime a Cora qualche dubbio sul suo operato. Un giorno, non vista, Cora sente la donna che insulta la piccola Sybbie perché figlia di uno chaffeur e la licenzia in tronco. Il legame tra Edith e l'editore Gregson è sempre più forte: l'uomo medita di prendere la cittadinanza tedesca per poter divorziare dalla moglie e sposare Edith.