上等兵肩章该词源自法语,法国军队曾规定,骑士如果在战斗中失去马匹,则暂归步兵指挥,执行步兵勤务,但仍保留他们的骑士称号和薪购,并免干粗活。后来,就把这些“免除了列兵某些职责的士兵”叫做上等兵。17世纪初,德国将上等兵授予有经验而可靠的士兵,赋予他们负责哨兵派班、押解俘虏等重要任务,有时班长缺勤,还可以代理班长工作。1716年,俄国将上等兵设于步兵、骑兵、工兵中,授予屡建战功或长期服役的士兵,1722年的《官级表》规定,在陆军中设上等兵、上等炮手,海军中设上等水兵。
上等兵肩章民国时期,蒋军士兵的一级,高于一等兵。
当今,亦被台军所沿用,并规定:二等兵服役满六个月晋升一等兵,一等兵服役满一年晋升上等兵。
新中国成立后,我军两次实行军衔制,均设此衔。当前,上等兵服役满一年可晋升为下士,也可复员。