Окончил Харьковский медицинский институт (1926). В 1926—1941 гг. работал в Харьковской Психоневрологической академии, вел педагогическую работу в Харькове и Донецке (Сталино), активно участвовал в работе Харьковской группы психологов (А.Н. Леонтьев, А.В. Запорожец, П.И. Зинченко, Л.И. Божович и др.). С 1943 г. и до конца своей жизни работал в МГУ им. М.В. Ломоносова: доцент кафедры психологии философского ф-та (1943—1967), профессор ф-та психологии (1967), зав. кафедрой детской (возрастной) психологии (1971—1983), профессор-консультант той же кафедры (с 1983).
В начале 1950-х гг. выступил с гипотезой поэтапного формирования умственных действий и новым пониманием основных проблем психологии. Дал оригинальное решение проблемы предмета психологии как науки о психической деятельности как ориентировочной по своей жизненной функции, представил все проявления психики (восприятие, память, мышление, внимание, волю и др. психические функции) как разные формы ориентировочной деятельности субъекта. Наметил решение таких трудных вопросов психологии, как вопрос об объективных критериях психики и об отличии психики человека от животных, психофизическая проблема и др. Создал новый метод исследования психических процессов — метод их планомерного поэтапного формирования. Теория Гальперина имеет не только принципиальный методологический смысл, но и большое практическое значение.
Гальперин — замечательный университетский преподаватель, читавший свои лекции как размышления по основным проблемам общей, детской психологии, истории психологии. Легендой стали его лекции по общей психологии, которые он читал на философском факультете. Его учениками были В.В. Давыдов, Л.Ф. Обухова, Н.Ф. Талызина, А.И. Подольскийи многие другие крупные учёные.