Settembre 1921. I Crawley, a esclusione di Isobel, della piccola Sybil e di Tom, partono per la Scozia per trascorrere dieci giorni a Duneagle Castle, dimora di Rose e dei suoi genitori, Hugh e Susan McClare. Bates, Anna, Molesley e la signorina O'Brien vanno con loro, e anche Mary, pur essendo prossima al parto, decide di unirsi al gruppo. La servitù rimasta a Downton Abbey intraprende le grandi pulizie, mentre la signora Patmore attira l'attenzione del nuovo fornitore, che si rivela però un donnaiolo interessato solo alla sua cucina, e la nuova cameriera Edna corteggia sfacciatamente Tom, venendo infine licenziata quando si spinge troppo in là. Durante la fiera di Thirsk, Thomas salva Jimmy, ubriaco, da un paio di ladri, rimanendo ferito: ciò porta i due a stringere un legame di amicizia e a superare le vicende passate; intanto il dottor Clarkson cerca maldestramente di corteggiare Isobel. In Scozia la famiglia Crawley partecipa alla caccia al cervo e al tradizionale ballo in stile scozzese, dove Michael Gregson, il capo di Edith, riesce a farsi invitare per passare del tempo con la ragazza. L'uomo confida a Matthew i sentimenti che prova per Edith, non ricevendo, però, l'appoggio sperato. La signorina O'Brien viene notata da Susan, donna gelida ed incontentabile, e ciò suscita le gelosie della sua cameriera personale. Hugh confessa a Robert di dover vendere la propria tenuta perché, non avendola modernizzata, ha finito i soldi ed è stato costretto ad accettare l'impiego governativo in India; l'uomo chiede a malincuore a Robert di poter lasciare Rose da loro a Downton, sicuro che i dissidi tra la figlia e la moglie (che neanche lui sopporta), aumentati dal vivere in un ambiente così diverso e poco consono al loro rango, porterebbero la figlia all'esasperazione. Mary, affaticata per via della gravidanza, decide di tornare con Anna a casa per non rovinare la vacanza agli altri, ma entra in travaglio poco prima di arrivare alla tenuta e partorisce un maschio all'ospedale locale. Dopo averle fatto visita, Matthew muore in un incidente d'auto sulla strada per Downton Abbey.