En 1803, une commission chargée par le premier Consul Bonaparte de se pencher sur la protection de la rade de l’île d’Aix, propose d’édifier sur le sable, au milieu de la passe, un fort massif à deux niveaux, en forme d’anneau, de 80 mètres de long sur 40 mètres de large. Des sondages font apparaître que le sommet du banc de sable n’est pas au milieu de la passe : le fort sera donc édifié sur une partie situé à 4,50 mètres sous l’eau à marée basse.  La commission propose de déverser des tonnes de pierres pour créer un enrochement artificiel découvrant à marée basse. Sur ce plateau de 100 mètres sur 50 doivent être assemblées trois assises en pierre de taille servant de base au fort.
Un formidable chantier s’engage alors. Sur l’île d’Oléron, une ville-base, logiquement baptisée Boyardville, est créée de toute pièce. Matériaux et ouvriers affluent, des carrières sont ouvertes, des marchés sont passés. Pendant 5 ans, à chaque marée basse, des bateaux de travail, les gabarres, déversent des milliers de mètres cubes de roches sur le banc de sable. Le chantier se heurte à un financement irrégulier, au manque de main-d’œuvre, aux attaques anglaises, à l’instabilité du banc de sable et plus encore à la houle et aux tempêtes qui détruisent et fragilisent le travail réalisé.Service Historique de la Défense, Rochefort, 1K4W4.Élévation du premier projet du fort Boyard, côté Ouest, 1802. Aquarelle sur papier.