Abbado a milánói Scala színpadán 1960-ban debütált, még ebben az évben a Bécsi Ünnepi Játékok karmestere, 1965-ben pedig a Salzburgi Ünnepi Játékokon dirigált. Berlinben 1968-ban lépett fel először. 1967-től majdnem két teljes évtizeden át a milánói Scala állandó karmestereként dolgozott, később az intézmény művészeti vezetőjévé is kinevezték.
1971-ben Karl Böhm mellett a Bécsi Filharmonikusok – ahol 1965-től rendszeresen vendégszerepelt – vezető karmestere lett. 1978-ban megalapította az Európai Ifjúsági Zenekart, később a Gustav Mahler Ifjúsági Zenekart, illetve a Chamber Orchestra of Europe-ot. 1979-től 1987-ig a London Symphony Orchestra vezetőjeként tevékenykedett, 1986-ben pedig visszatért Bécsbe és öt éven keresztül a Wiener Staatsopert vezette.
1989-ben az elhunyt Herbert von Karajan helyére lépett a Berlini Filharmonikusoknál. Ezen felül 1994-ben Abbado elvállalta a salzburgi Osterfestspiele művészeti vezetését is.