Toegeven hieraan zou betekenen dat het zojuist gevormde rijk weer gesplitst zou worden. Dit alles is natuurlijk een kolfje naar de hand van de Franse koning, Filips I, die slechts voordeel kon hebben bij conflicten tussen zijn leenmannen onderling of met hun kinderen en die absoluut geen baat heeft bij een vazal die ook nog koning van Engeland is. Willem is er alles aan gelegen om de eenheid tussen Engeland en Normandië te behouden en hij verzet zich tegen Roberts streven.
Robert zoekt en vindt morele steun bij Filips zonder dat dat vooralsnog tot iets concreets leidt.

Dan komt letterlijk de laatste druppel. Tijdens een uit de hand gelopen kwajongensstreek gooien zijn broers Willem en Hendrik een welgevulde po over zijn hoofd en Robert ontsteekt in een vreselijke woede. Er ontstaat een enorme vechtpartij en hun vader zelf moet te hulp schieten om te voorkomen dat er ongelukken gebeuren. Robert voelt zich in zijn eer aangetast en als dan zijn vader ook nog weigert de broers te straffen is voor hem de maat vol.

Opgestookt door zijn vrienden verlaat hij het huis, verzamelt een legertje en probeert het kasteel van Rouen in te nemen maar dit mislukt. Hij moet Normandië verlaten om aan arrestatie te ontkomen. Hij wordt door Willem achtervolgd en verslagen bij Rémalard, vlucht dan naar het hem door Filips aangeboden Gerberoi, een kasteel vlak bij Beauvais. Daar verzamelen zijn maten zich. Willem omsingelt kort na Kerstmis het kasteel en na drie weken wagen de opstandelingen in uiterste nood een uitval en hebben daarbij onverwacht succes. Willem wordt in de slag, waarschijnlijk door Robert zelf, van zijn paard gewipt en aan zijn arm gewond. Toki, een van zijn trouwe Engelse vrienden, offert zich op en redt zo Willems leven. De grootste vernedering van zijn hele leven. Hij is verplicht vredesonderhandelingen te voeren met Robert. De gehele Normandische aristocratie bemoeit zich ermee. De vertrouwelingen van Willem, mannen van zijn generatie, hebben belang bij het in stand houden van het gehele rijk omdat zij meestal in beide delen hun bezittingen hebben. Aan de andere kant zijn veel van de opstandelingen hun eigen zonen waarmee zij liever op voet van vrede blijven. Uiteindelijk verzoenen Willem en Robert zich, vooral door de bemiddeling van Mathilde, en bevestigt Willem nogmaals zijn belofte Robert tot zijn opvolger in Normandië en Maine te benoemen. Robert verlaat het hof en zwerft door Europa een spoor van onwettige kinderen achterlatend. Als Willem overlijdt weten zijn vrienden hem ervan te overtuigen Normandië aan Robert te schenken, waarmee zijn angst dat zijn met veel moeite opgebouwde rijk weer uiteen valt bewaarheid wordt.