A família Potter é muito antiga, mas nunca esteve (até o nascimento de Harry James Potter) na vanguarda da história dos bruxos, contentando-se com uma existência sólida e confortável nas marés. Potter é um sobrenome trouxa incomum, e a família não criou o chamado 'Sagrado Vinte e Oito' por esse motivo; o compilador anônimo daquela lista supostamente definitiva de sangue puro suspeitava que eles tinham surgido do que ele considerava ser sangue contaminado. A família bruxa Potter teve um começo ilustre, no entanto, alguns dos quais foram sugeridos em Relíquias da Morte .
No mundo trouxa, "Potter" é um sobrenome ocupacional, significando um homem que cria cerâmica. A família bruxa de Potters descende do mago do século XII, Linfred de Stinchcombe, um homem localmente amado e excêntrico, cujo apelido de 'o Potterer' foi corrompido a tempo de 'Potter'. Linfred era um sujeito vago e distraído cujos vizinhos trouxas costumavam recorrer a seus serviços medicinais. Nenhum deles percebeu que as maravilhosas curas de Linfred para varíola e febre eram mágicas; todos o consideravam um sujeito inofensivo e adorável, vasculhando seu jardim com todas as suas plantas engraçadas. Sua reputação como um excêntrico bem-intencionado serviu bem a Linfred, pois, a portas fechadas, ele foi capaz de continuar a série de experimentos que lançaram as bases da fortuna da família Potter. Os historiadores creditam Linfred como o criador de uma série de remédios que evoluíram para poções ainda usadas até hoje, incluindo Skele-gro e Pepperup Potion. Suas vendas de tais curas a outros bruxos e bruxas permitiram que ele deixasse uma pilha significativa de ouro para cada um de seus sete filhos após sua morte.
O filho mais velho de Linfred, Hardwin, casou-se com uma bela jovem bruxa chamada Iolanthe Peverell, que veio da aldeia de Godric's Hollow. Ela era neta de Ignotus Peverell. Na ausência de herdeiros, ela, a mais velha de sua geração, herdara a capa de invisibilidade de seu avô. Iolanthe explicou a Hardwin, uma tradição em sua família que a posse dessa capa continuava em segredo, e seu novo marido respeitava seus desejos. A partir de então, a capa foi entregue ao mais velho em cada nova geração.
Os Oleiros continuaram casando-se com seus vizinhos, às vezes trouxas, e vivendo no oeste da Inglaterra, por várias gerações, cada um aumentando os cofres da família por seu trabalho duro e, é preciso dizer, pela marca tranquila de engenhosidade que caracterizou seu antepassado, Linfred.
Ocasionalmente, um Potter chegou até Londres, e um membro da família esteve duas vezes no Wizengamot: Ralston Potter, que era membro de 1612-1652, e que era um grande defensor do Estatuto de Sigilo (como opôs-se a declarar guerra aos trouxas, como mais membros militantes desejavam) e Henry Potter (Harry a seus íntimos), que era um descendente direto de Hardwin e Iolanthe, e serviu no Wizengamot entre 1913-1921. Henry causou um pequeno rebuliço quando condenou publicamente o então Ministro da Magia, Archer Evermonde, que havia proibido a comunidade mágica de ajudar os trouxas na Primeira Guerra Mundial. Sua franqueza em nome da comunidade trouxa também foi um forte fator contribuinte para a exclusão da família dos "Sagrados Vinte e Oito".
O filho de Henry se chamava Fleamont Potter. Fleamont era assim chamado, porque era o desejo da mãe de Henry que ele perpetuasse o nome de solteira dela, o que de outra forma desapareceria. Ele suportou o fardo notavelmente bem; na verdade, ele sempre atribuiu sua destreza ao duelar ao número de vezes que ele teve que lutar contra pessoas em Hogwarts depois que elas zombavam de seu nome. Foi Fleamont quem pegou o ouro da família e o quadruplicou, criando a mágica Poção de Cabelo de Sleekeazy ( 'duas gotas doma até o barnet mais incômodo') Ele vendeu a empresa com um grande lucro quando se aposentou, mas nenhuma quantidade de riqueza poderia compensar ele ou sua esposa Euphemia por não terem filhos. Eles haviam perdido a esperança de um filho ou filha quando, para seu choque e surpresa, Euphemia descobriu que estava grávida e seu amado menino, James, nasceu.
Fleamont e Euphemia viveram o suficiente para ver James se casar com uma garota nascida trouxa chamada Lily Evans, mas não para conhecer seu neto, Harry. A catapora os levou alguns dias um do outro, devido à sua idade avançada, e James Potter herdou a Capa de Invisibilidade de Ignotus Peverell.
