1929年12月出生于江苏无锡，祖籍浙江上虞。1964年 起历任中国体操协会副秘书长、中国乒乓球协会秘书长、中华全国体育总会秘书处主任、中华全国体育总会副秘书长、中国奥林匹克委员会副秘书长、国家体委司长、中国奥委会执委、中华全国体育总会常委等职。

1981年10月2日，在国际奥林匹克委员会第八十四届大会上当选为国际奥林匹克委员会委员。在国际体育组织中，他还曾担任各国体育总会国际大会主席团副主席、国际奥林匹克委员会副主席和国际奥委会奥林匹克团结委员会委员等职务。何振梁为发展国际体育交往，恢复中国在国际奥委会的合法席位做了大量工作。

1985年起任国家体委副主任，党组副书记，同年当选国际奥委会执委。2001年北京申奥团陈述人之一，参加申办2008年夏季会。申办成功后，他逐渐退出了大众的视野。2008年5月20日，“何振梁与奥林匹克陈列馆”在他的出生地无锡开馆，这是国内首座将体育名人和奥林匹克文化精神相结合的主题馆。