Elsner, ki je bil star 60 let, je športno pot začel pri Slovanu, pri Olimpiji, ki jo je tedaj vodil njegov oče Branko Elsner, pa se je v osemdesetih letih minulega stoletja uveljavil tudi kot eden od najboljših nogometašev v nekdanji Jugoslaviji. Pot ga je iz Ljubljane nato vodila v Beograd k Crveni zvezdi, leta 1987 pa je prestopil v Francijo k Nici. Igral je tudi za Admiro Wacker v Avstriji.
Z jugoslovansko olimpijsko selekcijo je leta 1984 osvojil bronasto kolajno v Los Angelesu. Za slovensko izbrano vrsto je zbral dva nastopa. Prvega proti Cipru 18. novembra 1992, drugega pa proti Estoniji 7. aprila 1993.

Njegov sin Luka Elsner je trenutno trener francoskega kluba Amiens.