L’histoire se déroule dans l’Angleterre de la fin du xixe siècle. Miss Giddens, une gouvernante, se voit chargée par un riche célibataire de l’éducation de son neveu Miles et sa nièce Flora, jeunes orphelins qui vivent seuls dans un manoir avec leur nourrice Miss Grose. Miss Giddens perçoit d’étranges comportements de la part de ses protégés. Elle apprend que la précédente préceptrice, Miss Jessel, a eu une relation avec le valet Quint, et que tous deux sont morts dans d’étranges circonstances. Peu après, elle voit apparaître leurs fantômes dans le manoir et le jardin, avant de finir par croire que ces esprits tentent de posséder les deux enfants.

De retour de la guerre, Joe Lampton, enfant d’ouvrier d’une petite cité industrielle, trouve un emploi de comptable dans l’administration de la ville voisine. Il s’y trouve vite confronté aux membres des classes sociales aisées qui vivent dans les beaux quartiers de la « haute ville ».
Dans la troupe de théâtre amateur, il est attiré par Susan, fille de l’homme le plus riche de la ville. Mais celle-ci, surveillée de près par sa mère et prisonnière de son milieu social, se révèle pratiquement inaccessible. Une femme plus âgée, Alice, Française mariée depuis plusieurs années avec un notable qu’elle n’aime plus, joue également dans la troupe de théâtre amateur. Il se confie à elle et naît progressivement un amour passionné qu’ils vivent clandestinement. Joe demeure cependant partagé entre son aspiration à l’élévation sociale que lui procurerait Susan, qui finit par céder à ses avances, et l’amour sensuel qu’il vit avec Alice.

Sept enfants, les Hook, vivent dans une ancienne maison victorienne délabrée de la banlieue de Londres. Les enfants plus âgés aident à s’occuper de leur mère célibataire et invalide, dont la maladie chronique l’a amenée à se convertir à la religion fondamentaliste et à refuser toute aide médicale. Lorsque leur mère meurt subitement, les enfants réalisent qu’ils risquent d’être séparés et envoyés dans des orphelinats. Ils décident donc de dissimuler la mort de leur mère aux adultes et de poursuivre leur routine quotidienne comme si elle était encore en vie. La nuit venu, ils enterrent secrètement leur mère dans l’abri de jardin arrière, qu’ils transforment en un sanctuaire à sa mémoire et où ils organisent périodiquement à neuf heure du soir des séances de spiritisme pour communiquer avec son esprit.