Après le retrait des légions, un certain Coel Hen aurait été nommé chef militaire pour assurer la défense des côtes de la mer d'Irlande et du mur. Il est possible qu'il fut assisté par des chefs du Nord, non-romanisés : on rapporte que Cunedda et ses fils, seigneurs du Gododdin auraient été sollicités pour la défense du Gwynedd contre les Irlandais (ces derniers étaient très présents dans l'Ouest du Pays de Galles, ainsi une dynastie irlandaise régna sur le Dyfedd, les Gaëls implantés dans le pays, aux coutumes proches des Bretons furent assimilés progressivement). A Coel Hen succède Vortigern (nom signifiant plus ou moins chef suprême). C'est celui-ci qui aurait invité les Saxons d'Hengist (le terme Saxons regroupe aussi bien les véritables Saxons que les Jutes, les Frises et les Angles) à appuyer les Bretons dans leurs combats contre les Pictes et les Gaëls, en échange de terres dans le sud-est de l'Ile : ne pouvant plus compter sur l'aide romaine, Vortigern a fait appel aux Germains, pratique courante à l'époque.

Mais ceux-ci se révoltèrent et appelèrent leurs compatriotes à débarquer en masse pour envahir le pays.

C'est suite à la défaite de Crayford en 474, qu'apparaît un certain Ambrosius Aurelianus, que l'on connaît également via la légende comme Emrys frère d'Uther Pendragon (ce serait donc l'oncle d'Arthur) renverse Vortigern et matte les Saxons, du moins pour un temps. Lui et ses successeurs (peut-être Uther et Arthur) auraient permit d'endiguer le flot des envahisseurs jusqu'au milieu du VIe siècle, et organisant l'implantation bretonne en Bretagne Armoricaine (dans les cités ossisme, vénete et coriosolite avec l'accord des Francs de Clovis en 495). Il semble que dans la seconde moitié du VIe siècle, une épidémie de peste s'abattit sur le sud de la Bretagne, ne touchant que les Bretons, tandis qu'au nord les Rois, faute de chef assez puissant pour les fédérer dans la longueur, s'entre-déchirent, les Saxons en profitent alors pour reprendre les armes.

Les Bretons reculent progressivement au cours des siècles qui suivirent. Un coup décisif est porté en 577 à la bataille de Deorham où les Bretons de Dommonée sont vaincus et séparés de leurs frères gallois. Le puissant royaume du Rheged est rattaché à la Northumbrie sans doute suite un mariage : les Bretons n'étaient pas toujours contraints à l'exil, certains restaient comme serviteurs des Saxons. Au VIIIe siècle, les Bretons sont réduits au sud de l'Ecosse (qui plus tard sera réuni à la couronne écossaise), au Pays de Galles et à la péninsule de Cornouailles. Les Saxons iront même jusqu'à les nommer Whealas, littéralement "étrangers", ce qui persistera dans le nom anglais du Pays de Galles, "Wales"... Un grand nombre d'entre eux passent la mer pour rejoindre le continent où certains de leurs frères les ont précédés depuis le IVe siècle. Plusieurs royaumes sont fondés dans ce que l'on appelle désormais la " Petite-Bretagne ", mais le devenir de ces royaumes qu'ils soient insulaires ou continentaux, est une autre histoire...