Bien avant sa victoire aux élections du CFCM, en juin 2005, la FNMF allait déjà très mal. Son président en exercice, Mohamed Bechari, était mis en minorité. Pour mener leur fédération aux élections du CFCM, les opposants à M. Bechari fondèrent la Coordination des musulmans de France le 20 mars 2005. M. Bechari est absent de ce mouvement. L'opposition à la FNMF ira aux élections derrière Abdallah Boussouf qui n'est pas membre de la fédération mais qui est Marocain comme l'essentiel de l'exécutif de la FNMF.
Ainsi, sur les 17 « listes marocaines » qui participent aux élections du 19 juin 2005, seules six sont officiellement de la FNMF. Les autres sont de son opposition. Ce cocktail, présenté comme la FNMF, remporte les élections et consacre la division. Car l'opposition réclame sa victoire. Elle l'obtient. M. Boussouf devient le Vice-présidence du CFCM, chargé des régions.
Mais le 7 juillet 2005, une décision de justice condamne M. Bechari et annule la procédure qui lui avait permis d'élargir le Conseil d'administration de la FNMF à ses opposants. En conséquence, le 9 janvier 2006, M. Boussouf perd sa vice présidence qui échoit à M. Bechari. Dans la foulée, le FNMF Lemsibak Abdellatif, opposant à M. Bechari, est exclu du bureau du CFCM. Tous ces élus affirment qu'ils ne sont pas représentés par M. Bechari. Quatre jours plus tard, le 13 janvier 2006, le Rassemblement des musulmans de France voit le jour sur leur initiative.