Malcolm Little, 19 Mayıs 1925 yılında Omaha'da Grenada doğumlu Earl Little ve Georgia doğumlu Louise Norton Little'ın yedi çocuğundan dördüncüsü olarak dünyaya geldi. Babası Earl, Pan-Afrikanizm aktivisti ve Evrensel Siyahi Gelişme Derneği'nin (İngilizce: Universal Negro Improvement Association) yerel lideri olan Marcus Garvey'e hayran bir Baptist laik konuşmacıdır.[2][3] Malcolm X daha sonra babasının üç kardeşinin beyazlar tarafından öldürüldüğünü söylemiştir.[4]
Ku Klux Klan'ın tehditlerinden -Earl'ün katıldığı ESGD (İngilizce: UNIA) faaliyetleri örgüt için "sorun teşkil etmekteydi"[5]- dolayı, Earl ve ailesi 1926 yılında önce Milwaukee hemen sonra da Lansing'e taşındı.[6] Burada da siyahi karşıtı ırkçı topluluk olan Siyah Lejyon tarafından sık sık saldırılara maruz kaldı. 1929 yılında evleri yakıldı (Earl'e göre sorumlu Siyal Lejyon'du).[7]
Malcolm 6 yaşındayken babası, resmi kayıtlara göre Tramvay kazası sonucu hayatını kaybetti; Louise ise Earl'ün Siyah Lejyon tarafından öldürüldüğüne inanmaktadır. Babasının ölümünden siyahi karşıtı ırkçıların sorumlu olduğu söylentileri geniş kitleler arasında yayılırken daha çocuk olan Malcolm için son derece rahatsızlık vericiydi. Yetişkinlik döneminde ise, sorgulanması gereken çelişkili kanıların olduğunu belirtmiştir.[8] Yaşadığı ekonomik problemler sonrası, aylık 18 dolar ödeme yaptığı yaşam sigortası tarafından Louise'e (o zamanın parasıyla 1,000 dolar-2014 yılında yaklaşık 15,000 dolara tekabül etmektedir[not 1] ) maaş bağlandı.[9] Fakat daha sonra ödeme yapan şirket, Louise'in intihara teşebbüs ettiğini iddia ederek politikaları gereğince maaş ödemeyi reddetti. Kıt kanaat geçinen Louise ise bahçesinin bir kısmını kiraya verdi ve oğullarını avcılığa yönlendirdi.[9]
1937 yılında, Louise bir adam ile flört etmeye başladı evlenme olasılığı da varken adam Louise'i hamileyken bırakıp kaçtı.[10] 1938 yılının sonlarına doğru, sinir bozukluğu hastalığı tedavisi görmek üzere Kalamazoo Devlet Hastanesi'ne yatırıldı. Çocuklarıysa birbirlerinden ayrılarak koruyucu ailelere verildi. Malcolm ve kardeşleri annelerini tam 24 yıl sonra hastaneden taburcu edebildiler.[11][12]
Malcolm Little, orta okula diğer öğrencilerden daha başarılı bir şekilde devam etmekteydi. O sıralarda en büyük arzusu avukat olmaktı fakat beyaz bir öğretmeninin "avukatlık bir zenci için hiç de gerçekçi bir hedef değil" demesi üzerine okulu bıraktı.[13] Malcolm X daha sonra duygusunu, beyaz dünyada yeteneği ne olursa olsun kariyer hedefleyen bir siyahi için yer yok diyerek ifade etti.[13]
14 yaşından 21 yaşına kadar üvey kız kardeşi Ella Little-Collins ile Roxbury (çoğunluğu Afroamerikan olan Boston'daki bir semt) semtinde yaşayan Malcolm bu sırada birçok farklı işte çalıştı.[14][15] Flint'te bulunduğu kısa bir süreden sonra 1943 yılında Harlem'e (New York'taki Manhattan kentinde bulunan bir yer) gitti. Burada; uyuşturucu ticareti, kumar, haraç kesme, soygunculuk ve muhabbet tellallığı (pezevenklik)[16] gibi birçok suça bulaştı. Ayrıca son zamanlarda çıkan biyografilerine göre diğer erkeklerle genellikle para için ilişkiye de girmiştir.[17][18] Daha sonra da, kızıl saçlarından dolayı "Kızıl Detroit" (İngilizce: Detroit Red) diye seslendiği dedesinden (anne tarafından) bir miras kalmıştır.[19][20] Askerlik yaşı geldiğinde ise, zorunlu askerlik kurulu yetkililerine "zenci askerleri organize etmek... silah çalmak ve biraz kraker öldürmek" için güneye gönderilmek istediğini söyledikten sonra "askerlik için zihinsel yetersizlik" hükmü aldı ve askere gitmedi.[21][22][23]
1945 yılının sonlarına doğru Malcolm, Boston'a geri döndü ve burada dört suç ortağıyla birlikte zengin beyaz aileleri hedefledikleri çok sayıda soygun suçlarına karıştı.[24] 1946 yılında tamirci dükkanından saat çalarken tutuklandı.[25] Şubat ayında ise, yankesicilik ve haneye tecavüz suçlarından Charlestown Eyalet Cezaevi'nde yatmak üzere 8 ila 10 yıl hüküm yedi.[26]