Még ha őseinek a gyökerei a XIX. századra nyúlnak is vissza, az IBM 1911-et tartja születési évének. Ekkor egyesült három vállalat: az egyik az óragyártásra, a másik a mérleggyártásra, a harmadik pedig az amerikai népszámlálás szervezőinek szánt számítási segédeszközökre szakosodott.
Három évvel később az akkor még CTR néven működő vállalat Thomas Watsont alkalmazta vezérigazgatónak, aki egészen 1956-ig töltött be ezt a posztot, majd fiának adta át a gyeplőt. Idősebb és fiatalabb Thomas Watson dolgozta ki azt a kultúrát, amelyet 1924 óta International Business Machine-nek, rövidítéssel IBM-nek neveznek.
A céget sokáig csúfolták alkalmazottai konformizmusa miatt, de ez nem gátolta abban, hogy élen járjon az innovációban, annyira, hogy az IBM lett az a vállalat, amelynek a legtöbb amerikai szabadalma van. Öt alkalmazottja ráadásul fizikai Nobel-díjat is kapott.
A cég modern kori előretörése Lou Gerstner vezetése alatt 1993-ban kezdődött meg a vállalat újradefiniálásával. Ezt a jelenlegi elnök-vezérigazgató, Samuel Palmisano is folytatta, aki nem habozott a személyiszámítógép-gyártást 2005-ben eladni a kínai Lenovo cégnek.
A konzorcium forgalmának jelentős részét jelenleg a nagy központi számítógépek, a tároló központok és a szolgáltatások területén éri el, ugyanakkor nagy figyelmet fordít az olyan presztízsvállalkozásokra, mint a Big Blue sakkbajnok-számítógép vagy az idei Jeopardy vetélkedő nyertese, a Watson számítógép.
