Ayahnya, menjadi satu-satunya orang di keluarga Gein yang paling sering berhubungan dengan masyarakat, karena merupakan tulang punggung keluarga. Sayangnya, pada tahun 1940, ayah Ed meninggal dunia akibat gagal jantung.
Untuk menghidupi ibu mereka yang juga sakit keras, Ed dan Henry akhirnya terpaksa 'keluar' rumah dan mencari pekerjaan. Meski agak aneh, masyarakat tetap menerima Gein bersaudara karena dianggap cukup ulet, pekerja keras, dan bersedia melakukan pekerjaan apapun.
