Huset ved Riverton er en medrivende roman om kærlighed og lidenskab, herskab og tjenestefolk, loyalitet og forpligtelser i 1900-tallets England.
Grace Bradley er kammerpige på herresædet Riverton, der i sommeren 1924 rammes af en frygtelig tragedie. En ung digter begår selvmord under en havefest med søstrene Hannah og Emmeline Hartford som vidner. De to søstre taler aldrig med hinanden igen, og Grace forlader kort efter sin plads i familien Hartfords gamle, agtværdige hus. Med en tyngende skyldfølelse i bagagen.
Da Grace mange år senere modtager et brev fra en filminstruktør, der vil lave en film om tragedien, tvinges den nu 98-årige kvinde til at rippe op i en fortid, hun har forsøgt at lægge bag sig. Og lidt efter lidt løfter hun sløret for hemmeligheder, forviklinger og løgne, som hun har båret med sig siden sin tidlige ungdom.