Jazzman sleduje životní příběh Johna Kadlyho: dětství, dospívání, lásky a také překážky na cestě za jeho snem vystoupit ze stínu muzikantské legendy svého otce a stát se jazzovým bubeníkem. V úvodu filmu se John objevuje asi jako pětiletý, bezelstný a talentovaný chlapec. S přibývajícími léty se ovšem začíná projevovat i temná stránka jeho povahy. I přes osobní kouzlo a nadání poznamenává Johnovo dospívání jeho sebezničující temperament. S otcem sice vychází dobře, ale postupně se zhoršují jeho vztahy s matkou, a proto nakonec raději odchází z domova...