Au Moyen Âge, les sergents d’armes sont des soldats permanents, qui ne sont au départ que des forces d’appoint en campagne. Ils sont au service de simples chevaliers, ou de villes, d'évêques, d'abbayes ou même de corporations. Au combat, ils pouvaient être engagés en bataillons complets, et chargés de soutenir, voire de remplacer, les chevaliers, ou parfois être chargés de diriger individuellement des groupes de guerriers moins expérimentés.
Chez les Templiers ou l'ordre Teutonique, la majorité des combattants étaient appelés sergents, car le statut de chevalier était réservé aux membres d'origine noble.