Cresce calcisticamente in patria, dove si mette in mostra con l'Universitatea Craiova.
Ma è in Olanda, all'Ajax, che Chivu dimostra tutto il suo valore di difensore dai piedi da centrocampista.
Con i lancieri in patria vince tutto quello che c'è da vincere nel 2002 e molte squadre europee cominciano a corteggiarlo.
È la Roma ad assicurarsi le sue prestazioni nell'estate del 2003.
Nel primo anno in giallorosso, in coppia con Samuel nella difesa romanista, dimostra tutto il suo valore e si esprime ad altissimi livelli.
La difesa della Roma al termine di quell'anno risulterà la meno battuta del campionato, grazie anche al suo apporto, ma la squadra giallorossa non riuscirà ad andare oltre il secondo posto alle spalle del Milan.
La stagione successiva cominciano i guai fisici per il difensore romeno: una serie di infortuni muscolari che non lo abbandoneranno più fino alla fine della sua avventura in giallorosso, tanto che i tifosi lo soprannomineranno "Swarovski" o "Cristal Chivu".
La sua fragilità muscolare lo terranno spesso lontano dal campo di gioco, ma ogni volta che si ripresenta sul terreno la sua qualità si fa sentire: è uno che ha anche un buon tiro da fuori, cosa che lo porta spesso a calciare le punizioni da fuori area, spesso con risultati eccellenti.
Al termine del 2006-2007, dopo una estenuante trattativa portata avanti dal suo procuratore-padrone, Chivu subissato da insulti dei tifosi giallorossi lascia la Roma.