Harry Potter antes de Hogwarts

Los Dursley y Harry vivieron juntos por diez años, pero, ¿Que paso antes de que Harry recibiera su carta de Hogwarts? ¿Los Dursley siempre fueron malos con Harry?