Der Verein wurde am 19. Januar 1919 als Nachfolger der vor dem ersten Weltkrieg existierenden Vereine SC Preußen Speldorf und BV Rheinland Speldorf gegründet.

In den Jahren 1935 und 1936 qualifizierte sich der VfB Speldorf jeweils als Meister der Bezirksklasse Niederrhein für die Aufstiegsrunde zur Gauliga Niederrhein, der damals höchsten Spielklasse, schaffte den Aufstieg jedoch nicht. Bedingt durch den zweiten Weltkrieg fusionierte der Verein 1943 zunächst mit dem TSV Broich 1885 und später mit dem Mülheimer SV 07 zur Kriegsspielgemeinschaft KSG Linksruhr.

Nach dem zweiten Weltkrieg spielte der Verein zuerst 1945/1946 in der Liga um die Bezirksmeisterschaft Rechter Niederrhein (die damals höchste Spielklasse) und danach lange Zeit in der Amateurerliga des Fußballverbandes Niederrhein. Dort wurde der Verein 1956 Meister und stieg in die 2. Oberliga-West auf, im Jahr darauf jedoch direkt wieder ab. Zudem nahm der Verein im Aufstiegsjahr an der Endrunde zur deutschen Amateurmeisterschaft teil, wo man erst im Finale mit 2:3 der Spvgg 03 Neu-Isenburg unterlag.

In den 1960er und 1970er Jahren stieg der VfB Speldorf mehrfach bis in die Niederungen der Bezirksklasse ab. Nach mehreren Aufstiegen spielte man 1983/84 in der Oberliga Nordrhein.