查了一下 wiki

https://zh.wikipedia.org/zh-tw/%E6%AE%BF%E8%BB%8D

....另作斷後、殿後。後來，亦指在任何隊列的最後、甚至考試榜上的最後一名....

=============

所以我的記憶並沒有錯，殿軍原本是指最後一名，小時候考試最後一名，我們確實會說他是殿軍。班級比賽最後一名的，我們也會說他們是殿軍。只是不知何時，殿軍就被拿來當第四名了。