叶小纲出身于音乐世家，四岁起随父亲叶纯之学习纲琴，中学毕业后下放至农场劳动，后又进工厂当钳工六年，1978年考入中央音乐学院作曲系，师从杜鸣心教授。1980年在英国剑桥大学著教授Alexender Goehr的短期作曲班上学习，1981年首次举行个人作品音乐。1982年《中国之诗》(Pome of China)获美国齐尔品作曲比赛第一名，1983年《第一小提琴协奏曲》(Violin Concerto No.1)获中央音乐学院作曲奖。1984年，中国改革开放后首次派出叶小纲作为中国青年作曲家的代表出席在澳大利亚举行的亚太地区艺术节及作曲家大会，并在当地首演了新作《西江月》(Moon Over the West River).