Imperium zaczęło dysponować perypetie po osiągnięciu swojego szczytu na początku XI stulecia. Do roku 1059 zwartość zaludnienia wokół wiodących w miejsce królestwo serio przeciążała strefa podatkami. Sahara rozszerzała się na godzina dwunasta zagrażając rezerwom żywności. Kiedy środki utrzymania z handlu uprzedni wysokie, wwóz żywności był zadowalający do utrzymania ludności, podczas gdy wymiana handlowa zaczął się chwiać, układ też się załamał. Rosnąca władza Almorawidów niezadługo doprowadziła do rozpoczęcia dżihadu przeciwko Ghanie wewnątrz roku 1062 wobec przywództwem generała Abu Bakra ibn Omara. Almorawidzi walczyli z Imperium Ghany wskroś pięć lat, zanim po oblężeniu zdołali zyskać stolicę wewnątrz roku 1067. Imperium wobec przywództwem Ghana Bassi oraz jego następcy Ghana Tunki Menina wskroś kolejne dziesięć lat stawiało opór. Ostatecznie w środku roku 1076 Abu Bakr Ibn Omar zdobył Kumbi Saleh również położył koniec królestwo w trakcie nawracania jego obywateli na islam.