Rossi kom fram som talang i Juventus i början av 1970-talet, men spelade då som ytter. Rossi debuterade som proffs för Como 1975 dit Juventus skickat honom för att få matcher efter tre knäoperationer. Hans karriär tog fart när han värvades av Vicenza, där tränaren Giovanni Battista Fabbri satte upp honom i anfallet som center. Där visade sig Rossi vara ytterst målfarlig och blev skyttekung i Serie B. År 1977 gick laget upp i Serie A, där Rossi återigen blev skyttekung. Han togs ut till VM av Enzo Bearzot1978. Tillsammans med Franco Causio och Roberto Bettega bildade Rossi en av turneringens bästa anfallskonstellationer, när Italien kom på en fjärdeplats. Rossi gjorde tre mål och steg upp som en av världens bästa anfallare.
När Vicenza 1979 åkte ur Serie A, blev Rossi utlånad till Perugia. Där blev han inblandad i spelskandalen Totonero med uppgjorda matcher och avstängd de kommande två åren. Under avstängningen tillhörde han återigen Vicenza, innan Juventus köpte honom 1981. Han kom sensationellt tillbaka strax innan VM-slutspelet 1982 sedan han benådats och togs ut av Enzo Bearzot trots att han inte spelat på flera år. Rossi blev den store hjälten när Italien tog sitt tredje VM-guld 1982. Efter ett gruppspel där Italien inte imponerat och blivit hårt kritiserat vände allt. Rossi gjorde tre mål mot Brasilien (3–2) och i semifinalen mot Polen gjorde han båda målen (2–0). I finalen mot Västtyskland inledde Rossi målskyttet (3–1). Rossi blev med sina sex mål VM:s skyttekung och mottog Ballon d'Or (Guldbollen). Rossi deltog även i VM-slutspelen 1978 och 1986. Han spelade 48 A-landskamper för Italien (20 mål) 1977–1986.