Het 1ste elftal bereikte haar eerste kampioenschap in 1940 in de Eerste klasse van de KVOR (Kantoor Voetbal Organisatie Rotterdam), hierna werd er in de NVB afdeling Rotterdam gespeeld en in de RVB. In 1946 werd het 1ste kampioen van de Tweede klasse RVB, waarna ook de beslissingswedstrijd gewonnen werd en er werd gepromoveerd naar de Eerste klasse. Na degradatie in het eerste seizoen werd het 1ste opnieuw kampioen van de Tweede klasse in 1951, dit keer ging de beslissingswedstrijd verloren en was er dus geen promotie. Na het kampioenschap van 1955 werd deze beslissingswedstrijd wel weer gewonnen en promoveerde het naar de Eerste klasse. In 1958 werd het 1ste kampioen van de Eerste klasse en hiermee werd promotie naar de Vierde klasse KNVB bereikt.
Na jarenlang gebivakkeerd te hebben in de subtop van de Vierde klasse, speelde het 1ste elftal met drie snel opeenvolgende kampioenschappen (1970, 1974 en 1975) vanaf 1975 in de Eerste klasse, destijds het hoogste niveau van het zaterdagamateurvoetbal in Nederland.
In het seizoen 1975/76 eindigde het 1ste als 4de, de hoogste eindklassering ooit, op zo’n hoog niveau.
In dat seizoen werd ook het absolute hoogtepunt van de club bereikt door de KNVB Beker voor amateurs te winnen. Op weg naar de finale werd achtereenvolgens afgerekend met Schoonhoven, Capelle, Pelikaan, SVPTT, Quick Boys, in de kwartfinale Spakenburg en in de halve finale IJmuiden. In de finale, die gespeeld werd op Sportpark Panhuis in Veenendaal, werd VV Berkum na verlenging met 3-1 verslagen.
De spelersvrouwen waren voor de finale gekleed in wedstrijdshirts met de nummers van de spelers erop.
In het daaropvolgende bekertoernooi werd op zaterdag 9 oktober 1976 VV Noordwijk uitgeschakeld, door thuis met 2-1 te winnen. In de volgende ronde moest het 1ste op zaterdag 20 november 1976 naar Stadion De Geusselt, in Maastricht, voor de uitwedstrijd tegen MVV. Vier volle bussen met supporters vertrokken vanuit IJsselmonde naar het zuiden van het land. Vlak na de rust kwam De Zwervers op 1-1, maar in de slotfase liet MVV echter zien dat zij de profs waren, en werd er met 4-1 verloren. De wedstrijd was ook te horen in het radioprogramma Langs de Lijn via Hilversum I. Op 19 september 1976 werd de supportersvereniging opgericht en in april 1977 was het clubblad ‘t Zwervertje herboren.
In competitieverband verliep het seizoen 1976/77 teleurstellend, het team begon een begin van slijtage te tonen. Dit kwam mede door het verre reizen naar uitwedstrijden tegen clubs als Harkemase Boys, Go Ahead Kampen en ACV. De Zwervers moest genoegen nemen met een 12de plaats. In het seizoen 1977/78 viel het doek voor De Zwervers en degradeerde het naar de Tweede klasse. De laatste (thuis)wedstrijd in de Eerste klasse, tegen een andere degradatiekandidaat; VV Nieuw-Lekkerland, werd voor het oog van circa 2000 toeschouwers met 2-2 gelijkgespeeld. Het 2-2 gelijkspel was niet genoeg om te handhaven in de Eerste klasse.
In de jaren die volgden in de Tweede en Derde klasse werd er met name in de middenmoot gespeeld en tegen degradatie gevochten. Het seizoen 1988/89 was in deze periode het enige succesvolle jaar. Dat seizoen speelde de club lang mee om het kampioenschap in de Derde klasse en eindigde uiteindelijk op de 3de plaats. In de RN Cup van dat seizoen presteerde de club ook zeer verdienstelijk. Na achtereenvolgens VOB, Zwart-Wit '28, VVOR, DHZ en CVV te hebben verslagen, stond De Zwervers in de finale van de beker van de Regio Rijnmond. Deze wedstrijd werd na verlenging verloren van RFC. Hierna was De Zwervers weer terug bij af en degradeerde het in 1990 alsnog naar de Vierde klasse.
Na vooral subtopper te zijn geweest in de Vierde klasse, werd De Zwervers in het seizoen 1995/96 tweede en plaatste het zich voor de nacompetitie, hierin werd verloren van Xerxes en gelijkgespeeld tegen WDS hierdoor ging promotie aan de club voorbij. Echter, door de hernieuwde indeling van district West II promoveerde de club alsnog naar de Derde klasse. In de Derde klasse speelde De Zwervers bijna ieder seizoen mee om het kampioenschap. In 2004 kwam de promotie naar de Tweede klasse. Na een derde plaats in de competitie, speelde De Zwervers nacompetitie en werd de beslissingswedstrijd met 0-3 gewonnen van SV ‘35. Het seizoen 2004/05 in de Tweede klasse werd echter overschaduwd door het feit dat De Zwervers uit de competitie gehaald werd, nadat de thuiswedstrijd tegen Die Haghe gestaakt werd en de scheidsrechter beweerde ‘gemolesteerd’ te zijn. In 2006 was er, na dit keer een tweede plaats, opnieuw een beslissingswedstrijd nodig voor promotie. Dit keer werd er met 6-1 van VV Rozenburg gewonnen. Deze wedstrijd werd gespeeld op neutraal terrein in Ridderkerk, op het complex van RVVH. Opnieuw was het verblijf in de Tweede klasse niet van lange duur en eindigde De Zwervers op de 12de en laatste plaats.
Sindsdien speelt De Zwervers veelal in de middenmoot van de Derde klasse, met uitzondering van twee seizoenen. In het seizoen 2011/12 degradeerde de club naar de Vierde klasse. Na een 4de plaats in de competitie mocht De Zwervers meedoen aan de nacompetitie. Op de familiedag werd de beslissingswedstrijd gespeeld en werd er op het eigen hoofdveld met 3-4 verloren van KSD, dit verlies maakte echter niets uit en De Zwervers promoveerde alsnog na 1 seizoen weer naar de Derde klasse. De seizoenen 2019/20 en 2020/21 werden niet uitgespeeld vanwege het Coronavirus. De competitie werd stilgezet en als niet gespeeld beschouwd, in het seizoen 2019/20 stond De Zwervers op de 9e plaats. In het seizoen 2020/21 stond De Zwervers 11de. In de nacompetitie van het seizoen 2021/22 werd in de eerste ronde met 1-4 verloren van WFB, waardoor degradatie naar de Vierde klasse een feit was. IN het seizoen 2022/23 eindigde De Zwervers als tweede achter kampioen Graaf Willem 2. In de nacompetitie voor promotie werd eerst gewonnen van Zoetermeer maar helaas verloren van Excelsior 20. En dus bleef De Zwervers in de 4e klasse.
