Ba Sèvres, Paris'te doğdu ve yedi çocuklu bir ailenin altıncısıydı. Saint-Valery-en-Caux,Seine-Maritime'de büyüdü. 1999-2000 sezonunda Port Autonome takımının altyapısında oynamaya başladı. 2000-01 sezonunda Frileuse altyapısında oynadı.[1]
2001 yılında, Châtillon'a dönen Ba Montrouge altyapısında oynamaya başladı.[1] 2004 yılına kadar orada oynadı.[1] Sonraki yıllarda Lyonve Auxerre kulüplerinden teklif gelse de[1] Ba İngiltere'de bir takımda profesyonel oynamak için takım aradı. Arkadaşı Gauthier Diafutuatarafından Watford teknik direktörü Ray Lewington'a önerildi. Ancak kısa bir süre sonra Lewington takımdan ayrılmak zorunda kaldı. Ba Barnsley'de 1 hafta geçirdi.[1]Football League takımları Swansea City veGillingham ile başarısız olan görüşmelerden sonra Fransa'ya döndü.[2]
