Weiss eredetileg jogi vagy pénzügyi pályára készült, a zene iránti rajongása azonban végül felülkerekedett ambícióin, és a Juilliard School of Music diákja lett. Karrierje során eleinte big bandek zeneszerzőjeként dolgozott, majd filmek és Boardway-darabok komponistája és híres énekesek slágergyárosa lett.
Számait olyanok énekelték, mint Tom Jones, Frank Sinatra, Ella Fitzgerald vagy Nat King Cole. Leghíresebb dalai közt ott van a társszerzőként jegyzett What a Wonderful World Louis Armstrong előadásában és az Elvis Presley által sikerre vitt Can’t Help Falling in Love, de ő dolgozta át legismertebb verziójába a The Lion Sleeps Tonightot is.
Weiss a New Jersey-beli Oldwickben található otthonában vesztette életét. Felesége a sajtót arról tájékoztatta, hogy a komponista természetes okból hunyt el.