La leyenda cuenta que en el año 1896, Robert Eugene Otto, un pequeño niño que vivía junto a sus padres en una casa de la localidad de Key West, Florida, Estados Unidos, recibió un regalo que le hizo una criada de la servidumbre: un muñeco de tres pies de altura, relleno con paja, cosido con alambre y vestido con un traje blanco de marinero. El niño, a quien sus padres llamaban simplemente "Gene", bautizó de inmediato al muñeco con su propio nombre, Robert.
Lo que el pequeño niño y sus padres no sabían era que el personal de la servidumbre, criados negros traídos de la isla de las Bahamas, eran practicantes de vudú y magia negra, cosa habitual en algunas comunidades caribeñas, y que el muñeco no era tan inocente como aparentaba. Como sea que fuere, desde el primer momento el niño se encariñó en demasía con el muñeco. Hablaba con él y procuraba no separarse de él en ningún momento.