Der Sohn eines Gutsbesitzers besuchte die Handelsschule und trat nach Abschluss als Kaufmann in das Geschäft seines Bruders ein. Dass er Interesse für den Radrennsport entwickelte lag wahrscheinlich an dem Vorbild seines Onkels Joseph Burger, der 1893 und 1894 die Meisterschaft von Sachsen gewonnen hatte. Diese Meisterschaft versuchte Neumer auch in seinem ersten Rennen 1904 zu erlangen, musste sich allerdings mit einem 2. Platz zufrieden geben.
1905 trat er zu den Berufsrennfahrern über, hatte auch einige Erfolge, wurde aber im Dezember 1905 bei einem Unfall mit einer Straßenbahn schwer verletzt. Mit einer Gehirnerschütterung und einem vierfachen Armbruch kam er ins Krankenhaus und musste ein Jahr pausieren. Durch diese Auszeit erhielt er seinen Amateurstatus zurück, den er bis zu seinem Karriereende beibehielt. Schnell errang er achtbare Siege unter anderem auch die Meisterschaft von Sachsen 1907.
1908 konnte er an den Olympischen Spielen in London teilnehmen, wo er sich einen dritten Platz im 600m-Rennen holte. Seine internationale Amateurkarriere setzte er 1909 und 1910 mit einem 2. Platz bei den Weltmeisterschaften in Kopenhagen und Brüssel, jeweils hinter William Bailey, fort.
1911 und 1912 fuhr er wieder mit Berufsfahrer-Lizenz, konnte auch einige Siege erringen, doch die großen Erfolge blieben aus. 1913 beendete er seine Radfahrer-Karriere.
Laut wikipedia.de blieb Neumer nach seiner Radsportkarriere in Dresden und eröffnete ein Gemüsegeschäft. Nachdem er kurz vor Kriegsende durch Bomben alles verloren hatte, siedelte er nach Reinhardtsgriimma über. Karl Neumer starb im hohen Alter von 97 Jahren.
2006 ehrte Reinhardtsgrimma seinen Olympia-Medaillengewinner im Rahmen seiner 800-Jahr-Feier mit einer nach ihm benannten Fahrradtour, >>> der Karl-Neumer-Gedächtnisfahrt.