Dat Leonard Cohen zijn talent nog niet verloren was, bewees in 1984 het nummer
Hallelujah. Een nummer waar hij lang aan sleutelde en verschillende coupletten voor schreef. Hij kwam er maar niet uit welke coupletten hij moest nemen en zong het nummer regelmatig met een andere versie. In 1984 kwam dit nummer op z'n nieuwe album, maar nog bleef hij er aan werken.

In 1988 hoorde John Cale zijn nummer en had veel interesse in Hallelujah. John Cale had in de jaren '60 succes met The Velvet Underground (Sweet Jane, I'm waiting for the man, Sunday Morning). Hij vroeg aan Cohen het nummer door te faxen, die meteen 15 coupletten doorgaf. John Cale koos er 5 uit en nam het op. Het werd de eerste succesvolle cover. Hij nam het uiteindelijk op in 1991 op een Leonard Cohen tribute album. Die versie was trouwens 10 jaar later te horen in de film Shrek.

De cover van John Cale diende als definitieve versie en inspiratie voor de bekende Jeff Buckley, die de bekendste versie opnam. In 1994 zong hij het voor z'n album Grace. Het was nochtans niet meteen een hit, ook niet bij live optredens. Later groeide het uit tot een klassieker die beter werd gevonden door menig critici en muziekliefhebber dan het origineel van Leonard Cohen. Jeff Buckley mocht er niet meer van genieten, hij stierf veel te jong in 1997. Zelfs jaren later stond de versie van Buckley in verschillende landen meermaals op nr 1.

De inspiratie loopt nog door. In 1997 zong Rufus Wainwright een tribute aan Jeff Buckley en bracht het nummer Hallelujah. Dit nummer staat op de soundtrack van Shrek, terwijl het toch de versie van John Cale is dat je kan horen in de film zelf. Desondanks is het Wainwrights versie die op de soundtrack-cd stond en meer dan 2 miljoen keer verkocht werd. Hij zong het nummer ook in de film 'Leonard Cohen: I'm your man'.

Je zou denken dat het nummer nu wel genoeg gezongen werd. In 2004 bracht ]]k.d. lang]] een eigen versie van het nummer. Bij een live versie op de Juno Awards kreeg ze een 2 minuten durend applaus. Ze zong het ook toen Leonard Cohen werd ingehuldigd in de Hall of Fame en voor 3 miljard kijkers op de Olympische Winterspelen in 2010. In 2007 stond het op nr 1 in Zweden door een cover van Espen Lind ft Kurt Nilsen, Alejandro Fuentes en Askil Holm. In 2008 kwam het op nr 1 in Engeland door X-Factor deelneemster Alexandra Burke. In 2009 stond het op nr 1 in Nederland door X-Factor deelneemster Lisa Lois en in 2010 stond het op nr 1 in Vlaanderen via een duet door Natalia & Gabriel Rios die het nummer zongen als benefietsingle voor de aardbeving in Haïti. Verder is het te horen in versie van Bob Dylan, Bon Jovi, Il divo, [Bono]], Damien Rice, Justin Timberlake en vele anderen. Jeff Buckley is niet meer, Leonard Cohen wel en treedt op z'n 79 jaar nog steeds op.