A III. Olimpiai Játékok megbeszélése során a Nemzetközi Olimpiai Bizottság úgy döntött, hogy szervezi azt az Egyesült Államokban, mivel ez az ország jó eredményeket mutatott az előző két játékban. Eleinte az olimpiát akarták Chicagóban vagy New Yorkban tartani, ám ennek eredményeként a választás a kis kikötővárosba, St. Louisba esett.
A III. Olimpiát St. Louis-ban és a Párizs mellett a világkiállítás részeként tartották. A kiállítás helyi vezetése azonban nem tekintette versenytársnak, hanem éppen ellenkezőleg, mindent megtett, hogy a játékokat saját hirdetési célokra használja fel. Ezen túlmenően a szervezők megismételték az 1900-as párizsi 1900-as nyári olimpia néhány hibáját. A világkiállításhoz való csatlakozás miatt a versenyeket a háttérbe szorították, és maga az olimpia majdnem 5 hónapig (1904. július 1. - november 23.) folytatódott. Számos versenyt rendeztek különféle szakmai szervezetek irányítása alatt, ennek ellenére mindegyikük olimpiai tudományág címet kapott.
A NOB szerint 12 ország vett részt a St. Louis-i nyári játékokon. Az egyetlen állam, amely először vett részt a versenyen, Dél-Afrika volt. A párizsi olimpiához képest a részt vevő országok száma hirtelen csökkent. A Párizsi Nyári Játékokon részt vevő 13 állam gazdasági okokból nem tudott érkezni St. Louisba. Oroszország, amely akkoriban Japánnal harcolt, nem vett részt a versenyen.
Összesen 651 ember, köztük 6 nő, vett részt a III. Nyári olimpián. 18 sportágban 94 díjcsomagért versenyeztek. A legnagyobb csapat az Amerikai Egyesült Államok volt: 533 embert képviseltek a játékokon. Sok sportágban (boksz, birkózás, vízilabda, íjászat és tenisz) kizárólag amerikai sportolók voltak, tehát a játékok világosan megmutatták az ország elsőbbségét.
A St. Louis-ban először három, nem két sportoló közül jutalmazta el a legjobb eredményt. A verseny fő győztese aranyérmet kapott; második helyezett atléta - ezüst; és a harmadik helyet bronzdíjjal jelölték meg. Ez a hagyomány a mai napig fennmaradt.
A nem hivatalos csapatállásban a részt vevő országok a következők: I. hely - USA (78 arany, 82 ezüst, 78 bronzérmet), II. Hely - Németország (4 arany, 4 ezüst, 5 bronzérmet), III. Helyezett - Kuba (4 arany, 2 ezüst, 3 bronzérmet).
