A web az elmúlt években alapvetően változott meg: soha nem látott mennyiségű kép, videó, mikroblog-bejegyzés születik. A Google keresőindexe eddig a “régi” webre volt leginkább optimalizálva, azaz főként a szöveges tartalmakra koncentrált.
Amikor valaki lefuttat egy keresést, akkor igazából a Google adatbázisában keres, nem a valós weblapok közt. Idáig a kereső rétegekben indexelte az oldalakat: a felső rétegbe tartoztak a leglátogatottabb weblapok, ezeket látogatta meg a keresőrobot legtöbbször. Minél kisebb jelentőségű egy oldal, annál ritkábban került indexelésre, azaz annál lassabban jelentek meg a találatok között az oldalon megjelenő változások. Ráadásul egy réteg frissítéséhez a szoftver az egész internetet analizálta.
A Caffeine ebben hoz változást. A jövőben kisebb részletekben elemzi az internetes oldalakat a szoftver, közben pedig folyamatosan frissíti az adatbázist, így amikor egy új oldal jelenik meg, vagy egy régebbi oldal frissül, akkor az jóval hamarabb jelenik meg a találati listákon.
A Caffeine óriási adatmennyiséget képes kezelni: mintegy 100 millió gigabájt van az adatbázisban, ami naponta százezer gigabájt adattal frissül.
