第一屆奧運會郵票一經問世，馬上被人們接受和熱衷收藏。 1906 年希臘為紀念在雅典舉辦第一屆奧運會又發(fā)行一套14 枚紀念郵票。第 2 屆至第 6 屆均沒奧運會郵票問世。 1927 年比利時為第 7 屆奧運會發(fā)行一套 3 枚紀念郵票。以后每一屆奧運會主辦國均為本屆奧運會主辦國均為本屆奧運會發(fā)行郵票。 1924 年烏拉圭為慶祝本國足球隊獲第 8 屆奧運會足球賽冠軍，特發(fā)行 3 枚一套郵票，為非主辦國發(fā)行的第一套奧運會郵票，也是第一套足球郵票。后來，有越來越多的國家和地區(qū)發(fā)行奧運會和其他體育大賽的郵票。第二次世界大戰(zhàn)之后，奧林匹克體育郵票更是逐年增多。

    1992 年一年，世界各國僅發(fā)行奧運會郵票就達 1200 多枚。豐富的體育郵票必然吸引了眾多的收藏者。有關體育郵戳，特別是紀念郵戳也是集郵者主要的收藏品。 1912 年第 5 屆奧運會在雅典斯德哥爾摩舉行，瑞典郵政部門在該市和哥德堡啟用二種奧運會宣傳郵戳和一種特殊的手指戳。從此開創(chuàng)了奧林匹克體育紀念郵戳普遍使用的先例。不僅主辦國起用奧運會紀念和宣傳郵戳，而且非主辦國在發(fā)行郵戳時也啟用相同紀念郵戳。奧運會和體育的紀念郵戳、宣傳戳限于某段時間內使用，具有特殊郵政意義，同樣吸引著體育集郵者。體育集郵就是收集、整理、研究和展示體育郵票及相關郵政品的專項性的集郵。體育集郵經歷了從簡單自發(fā)到多樣全面正規(guī)的發(fā)展過程。

    最初人們只是對體育郵票、紀念郵戳和其他郵品處于自然狀態(tài)的收集。 1925 年開始，有人才對此做專項性的收集。在 1925 —— 1953 年任國際奧委會委員、 1935 年—— 1952 年任執(zhí)委的艾伯特 . 伯納考薩積極倡導奧林匹克體育集郵，鼓勵人們致力于這一專項性的集郵。第二次世界大戰(zhàn)后，奧林匹克體育集郵在一些國家迅速展開，1947 年在法國出版了第一種體育郵票目錄； 1951 年在巴薩羅納舉辦了全國性體育郵票展覽； 1952 年在羅馬第一次舉辦國際性的體育展覽。在這時期，人們主要是收集體育郵票和相應的郵品。

    在集郵領域中逐步形成了多種類的有研究的收藏。在體育集郵中最早出現(xiàn)的是傳統(tǒng)集郵類，即對體育郵票按國別、歷史階段和發(fā)行順序來收集和研究。其中主要是希臘的第一屆奧運會和 1906 年屆間奧運會郵票。并且有人編組出這類郵票的傳統(tǒng)類郵集。

    后來隨著集郵領域內專題類集郵的興起和發(fā)展，許多人投入了體育的專題集郵。集郵者用體育郵票和其他郵品上的圖案和文字及發(fā)行目的來表達相應的體育主題內容，出現(xiàn)了較多的體育專題郵集。

    1968 年后在歐洲某些國家還出現(xiàn)用體育郵品與歷史文物資料同時編排的郵集，主要是反映第一屆奧運會至 1906年希臘屆間奧運會兼奧運會間復興現(xiàn)代奧運會過程。這是種特殊的編排方式，不廣泛使用。在這時期出現(xiàn)了大量的專題類郵集、少量郵政史類、航空類和極限類，保留了一定的傳統(tǒng)類體育郵集。

    1980 年薩馬蘭奇任國際奧委會主席，積極主張奧林匹克體育與文化藝術的集合，主張加強體育收藏。 1982 年在他倡導下，由國際奧委會組織成立了國際奧林匹克集郵聯(lián)合會（縮寫 FIPO), 指導各國開展體育集郵。在該協(xié)會組織下，舉辦了 6 屆世界性的奧林匹克集郵展覽，其中有 3 屆分別在第 24 屆到第 26 屆奧運會期間舉辦。從那之后體育集郵展覽便進入了奧運會間的文化活動。 1986 年成立的中國體育集郵協(xié)會是國際奧林匹克集郵聯(lián)合會第一批成員。在我國也曾舉辦過一屆國際性體育郵展、 2 屆奧林匹克郵票展覽和 4 屆全國體育郵展。

    在第一屆到第五屆國際奧林匹克郵展中，參觀郵票基本上均以專題類對待，實際上并不完善。因此從第 6 屆（在 1996 年亞特蘭大奧運會期間）起，體育集郵完全按照國際集郵聯(lián)合會的展覽規(guī)則，明確規(guī)定體育集郵分類有：傳統(tǒng)類、專題類、郵政史類、郵政用品類、航空類、極限類、現(xiàn)代類等。這是從集郵類別上來分。由于體育有廣泛的內容、那么從集郵主題內容來分又為：夏季奧運會、冬季奧運會、洲際運動會、全國運動會、世界錦標賽、世界杯賽、國際大賽、各項體育運動（如：足球、籃球、排球、體操、滑雪、滑冰......) 國際奧委會、各國奧運會、民族民間體育等等。