27 марта 1995 г. вышел приказ МО РФ №123 «О наградах Министерства обороны Российской Федерации». Этим приказом было введено в действие Положение о наградах МО РФ, в котором определялась их структура, порядок представления и награждения ими, а также учреждены медали «За укрепление боевого содружества» и «За отличие в военной службе» трех степеней.

Медалью «За отличие в военной службе» награждаются военнослужащие за добросовестную службу, имеющие соответствующую выслугу лет в календарном исчислении (I степенью – прослуживших не менее 20 лет; II степенью – не менее 15 лет; III степенью – не менее 10 лет).

Первое награждение медалью «За отличие в военной службе» (10 687 военнослужащих) было произведено приказом МО РФ (по л/с) от 16 марта 1996 г. №126. Всего этой медалью (всех степеней) было награждено 677 533 человека (в 1996 г. – 334565, в 1997 г. – 107299, в 1998 г. – 86783, в 1999 г. – 76788, в 2000 г. – 72098).

Медаль изготавливалась на заводе «Мосштамп». Общий тираж по состоянию на 2000 г. составил более 680000 штук.