Baldock is de oudere broer van de in 2024 overleden voetballer George Baldock, die als rechtervleugelverdediger speelde.[1] Hij speelde in de jeugd van Wimbledon. Die club werd in 2003 verplaatst van Londen naar Milton Keynes en een jaar later werd de naam veranderd naar Milton Keynes Dons. Op zestienjarige leeftijd maakte de spits zijn professionele debuut in het eerste elftal, toen in de EFL Trophy met 1–2 verloren werd van Colchester United. Baldock mocht tijdens dit duel in de tweede helft als invaller zijn entree maken.[2] Vanaf de zomer van 2008, toen Roberto Di Matteo hoofdtrainer van MK Dons werd, kreeg Baldock een vastere rol in het eerste elftal. In dit seizoen zou hij ook voor het eerst minimaal tien doelpunten maken. In de eerste zes officiële wedstrijden van het seizoen 2011/12 wist de spits tot zes treffers te komen, wat leidde tot interesse van andere clubs. Die zomer nog werd West Ham United zijn nieuwe werkgever. Voor de Londense club tekende hij voor vier jaar met een optie op een seizoen extra.[3] In zijn eerste zes basisplekken kwam hij tot vijf doelpunten maar door een blessure en de komst van de nieuwe aanwinsten Ricardo Vaz Tê en Nicky Maynard raakte hij zijn basisplaats kwijt.
Na een jaar verkaste Baldock opnieuw, naar Bristol City, waar hij tekende voor drie jaar.[4] Twee jaar lang had de spits een belangrijke rol in het eerste elftal van Bristol en in het seizoen 2013/14 kroonde hij zich tot topscorer van de League One. Hierop werd de Engelsman voor circa tweeënhalf miljoen euro aangetrokken door Brighton & Hove Albion, wat actief was in het Championship. Bij Brighton zette Baldock zijn handtekening onder een verbintenis voor de duur van vier seizoenen.[5] Met die club dwong hij in het seizoen 2016/17 promotie af naar de Premier League door als tweede te eindigen in de eindrangschikking. Na de promotie verlengde de aanvaller zijn contract bij Brighton met twee jaar, tot medio 2020.[6] Dit contract zat hij niet uit, want in de zomer van 2018 verkaste hij naar Reading, waar hij voor drie jaar tekende.[7] Na afloop van die drie seizoenen tekende hij voor het restant van het kalenderjaar 2021 voor Derby County.[8] Na dit contract ging hij voor Oxford United spelen.[9] In september 2023 besloot Baldock op vierendertigjarige leeftijd een punt te zetten achter zijn actieve loopbaan, vanwege blessureleed.[10]