Ed lahir dalam sebuah keluarga yang bisa dibilang cukup 'unik'. Ayahnya, George Gein, adalah seorang pecandu alkohol. Sedangkan ibunya, Augusta Gein, adalah seorang perempuan yang sangat dominan dan cenderung overprotektif terhadap kedua anaknya, Ed dan Henry.
Bahkan sejak kecil, sang ibu selalu mendidik Ed dan Henry untuk membenci perempuan. Akses keluar yang dibatasi oleh sang ibu, ditambah posisi rumah mereka yang cukup jauh dari area pusat permukiman, membuat Ed dan Henry tumbuh menjadi pria yang sangat tertutup dengan orang asing.
