Albert Greene plus connu sous le nom de Al Green est né à Forrest City, Arkansas. Il commence à chanter à l'âge de neuf ans dans un quartette appelé les Greene Brothers. Il laissa tomber le "e" final de son nom des années plus tard lors de sa carrière solo. Ils partirent en tournée dans le sud au milieu des années 1950 jusqu'à ce que la famille déménage dans le Michigan. Son père le sortit du groupe après l'avoir surpris en train d'écouter Jackie Wilson.



Au lycée, Al Green forme " Al Greene & the Creations". Curtis Rogers et Palmer James, deux membres des Creations, créèrent un label indépendant appelé Hot Line Music Journal. Le groupe des Soul Mates, enregistra "Back up train" chez Hot Line Music, ce qui fut un hit R&B. Les morceaux suivants des Soul Mates ne connurent pas le même succès. Al Green entre en contact avec le leader de groupe Willie Mitchell de Hi Records en 1969, et Mitchell l'embaucha comme chanteur pour son groupe et par la suite il demandera à Al Green de signer avec son label.


Mitchell encourage Grenn à trouver sa propre voix, à un moment où il avait essayé de chanter comme ses héros Jackie Wilson, Wilson Picket, James Brown et Sam Cooke. Le premier album d'Al Green fut Green is Blues, un album doux et plein de cuivres qui lui permit de faire connaître sa voix puissante et expressive. Son vinyle suivant, Al Green gets next to you (1970), où il développa sa voix et ses talents d'écriture, fut un énorme succès. Let's stay together (1972) fit encore mieux, de même que I'm still in love with you (1972).

Call me fit sensation à l'époque et est encore de nos jours un des albums les plus plébiscités d'Al Green. Al Green explores your mind (1974) contient la chanson "Take me to the river" reprise par les Talking Heads sur leur second album.

Profondément choqué par le suicide de sa petite amie, Al Green se convertit au christianisme et fut ordonné pasteur du Full Gospel Tabernacle en 1976. The belle Album en 1977 fut acclamé par la critique mais ne convainquit pas son public. En 1979, Al Green fut blessé pendant un concert, et interpréta cet accident comme un message divin. Il concentra son énergie vers son église et le chant de gospel, apparaissant en 1982 dans la comédie musicale Your arms too short to box with God (Tes bras sont trop courts pour te battre avec Dieu) avec Patti LaBelle. Son premier album de gospel fut The Lord will make a way. De 1981 à 1989, Al Green enregistra une série d'albums gospel, raflant huit Grammys dans la catégorie "soul gospel performance".


Après avoir passé quelques années à ne chanter que du gospel, Al Green revint au R&B. Il enregistra d'abord un duo avec Annie Lennox, "Put a little love in your heart", pour Fantômes en fête, un film de Bill Murray. En 1994, son duo avec le chanteur de country Lyle Lovett mélangea country et R&B, lui faisant gagner un neuvième Grammy, cette fois dans la catégorie pop music. Son album Your heart's in good hands (1995), reçut de bonnes critiques mais manqua son public ; il entra au Rock and Roll Hall of Fame la même année.

En 2000, Al Green publie Take me to the river (Amène-moi à la rivière), un livre retraçant sa carrière. Il reçut un Grammy pour l'ensemble de son œuvre en 2002. En 2003 Al Green sort un album non religieux : I can't stop, la première collaboration avec Willie Mitchell depuis l'album de 1985 He is the light. Puis en mars 2005 sort Everything's ok, la suite de I can't stop.

Al Green est entré au Gospel Music Hall of Fame de la Gospel Music Association. Il continue ses tournées et prêche toujours au Full Gospel Tabernacle de Memphis.