Derwall az 1978-as világbajnokság után vette át a nemzeti csapat irányítását, korábban nyolc éven át segítette elődje, Helmut Schön munkáját. Legnagyobb sikereit 1980-ban és két évvel később aratta a válogatottal, amely előbb megnyerte az olaszországi Európa-bajnokságot, majd 1982-ben ezüstérmes lett a spanyolországi vb-n.
A tréner – aki játékosként maga is szerepelt kétszer a nemzeti együttesben – összesen 67 mérkőzésen dirigálta a német gárdát, amely irányításával 45 győzelmet aratott és 11 döntetlen mellett csak 11-szer kapott ki.
Később Törökországba szerződött, s a Galatasaray csapatával megnyerte a török bajnokságot. A klub tisztelete jeléül élete végéig szóló szerződést kínált neki, de ő végül 1989-ben visszatért hazájába.