Les premières unités sahariennes sont formées par la loi du 5 décembre 1894. Ces troupes sont prélevées sur des régiments du nord de l'Algérie à raison d'un escadron de spahis et d'une compagnie de tirailleurs. Au tout début du 20ème siècle, un chef d'escadrons propose au ministère de la défense de l'époque de remplacer ces troupes inadaptées au désert par des unités d'un type totalement nouveau avec un personnel également nouveau, les habitants du Sahara. En 1902, cinq compagnies sont créées et commandées par des officiers connaissant très bien ce milieu hostile. Les unités sahariennes sont nées. L'histoire du Sahara va s'écrire avec les sacrifices et le sang de ces hommes, très souvent hors du commun. Avec le second conflit mondial, de nouvelles unités sont créées. C'est à cette époque que la première compagnie saharienne portée de Légion voit le jour. A la fin de ce conflit, le nombre d'unités de Légion va augmenter ainsi que les effectifs. Pendant les dix années précédant l'insurrection de 1954, les légionnaires sahariens vont sillonner le Sahara, le Fezzan ainsi que le Tibesti. Nouveaux au Sahara, les légionnaires vont s'adapter très rapidement et, en ce temps de paix retrouvé, vont construire des postes, des pistes comme l'ont déjà fait leurs anciens. Ils vont trouver, ensuite, leur plein emploi pendant les évènements d'Algérie.