Garnett era la segunda de las cuatro hijas de David y Angelica Garnett. Su padre era escritor. Su madre, hija de Vanessa Bell y el pintor Duncan Grant, y sobrina de la escritora Virginia Woolf, era artista. Las cuatro hermanas tuvieron una infancia poco convencional. Henrietta y sus hermanas Amaryllis, Nerissa y Fanny crecieron en Hilton Hall, cerca de St Ives en Huntingdonshire, y todas fueron enviadas a la escuela mixta Huntingdon Grammar School. Desempeñaban papeles protagónicos en obras de teatro escolares y eran creativos. En casa tenían una finca con vacas, un huerto, una piscina y esculturas. Garnett también pasaba vacaciones en la granja de Charleston de sus abuelos, donde a veces posaba para los pintores. Más tarde escribió sobre Charleston: "Era un cofre del tesoro extraordinario lleno de curiosidades, bellezas, ideas, personas y chistes familiares". Garnett afirmó más tarde que siempre había estado enamorada después de los diez años. Quería ser actriz y achacó su fracaso a la falta de formación formal y disciplina mental. En 1962, cuando sólo tenía diecisiete años y ya estaba embarazada, Henrietta se casó con Burgo Partridge. Era diez años mayor que ella y era hijo de Ralph y Frances Partridge. La hermana de su madre, Ray Marshall, fue la primera esposa del padre de Henrietta, David Garnett. Burgo Partridge murió repentinamente de insuficiencia cardíaca el 7 de septiembre de 1963, tres semanas después del nacimiento de su hija Sophie Vanessa, dejando viuda a su esposa a la edad de dieciocho años.