Inició estudios de Letras en la Facultad de Filosofía y Letras de la Universidad Nacional Autónoma de México (UNAM), los cuales terminó en Francia de 1951 a 1952, gracias a una beca del Departamento de Turismo de la Secretaría de Gobernación. Fue profesor de Estética en la Escuela de Teatro de Xalapa (1953). De 1955 a 1956, fue becario del Centro de Escritores Mexicanos. Entre 1957 y 1964, dirigió la editorial de la Universidad Veracruzana y la revista La palabra y el hombre, ambas fundadas por él mismo. Entre 1970 y 1972 laboró en la Dirección General de Divulgación de la Secretaría de Educación Pública. De 1972 a 1976 trabajó para el Instituto Nacional de Bellas Artes (INBA), del que llegó a ser director general.

Sergio Galindo inició a la edad de 25 años su carrera literaria que abarcó cuatro libros de cuentos y nueve novelas, varios de ellos traducidos al inglés, al polaco, al francés y al alemán. En 1951 publicó su primer libro de cuentos, La máquina vacía. En 1958 da inició a la legendaria colección Ficción de la editorial de la Universidad Veracruzana con la novela Polvos de arroz. Escribe su primer obra extensa de ficción en 1959, La justicia de enero, gracias a la beca que le otorga el Centro Mexicano de Escritores. En 1964 aparece La comparsa, su cuarta novela y, en 1970, Nudo, su novela más compleja. En 1975, publica la colección de cuentos ¡Oh, hermoso mundo!; ese mismo año escribe El hombre de los hongos, la cual fue llevada al cine por Roberto Gavaldón, y fue la presentación de Galindo a su ingreso a la Academia Mexicana de la Lengua. Realizó las adaptaciones para teatro de Este laberinto de hombres y Un Dios olvidado, de Mauriac.

Fue reconocido con los premios Mariano Azuela (1984) —por el conjunto de sus novelas—, Bellas Artes de Literatura (1984), Xavier Villaurutia (1986) —por su novela Otilia Rauda— y José Fuentes Mares (1987). Joaquín Armando Chacón comenta sobre Galindo: fue un escritor sereno, lleno de conocimientos técnicos que estaban al servicio de la historia que quería contar y sin la pretensión de alardear con fires pirotécnicos lanzados al vacío, entregado a su labor narrativa sin grandes aspavientos y asumiendo a conciencia que el fondo y la forma estaban unidos para complementarse y para expresar el arte (Perfil y remembranza. El tiempo de Sergio Galindo. Por Joaquín Armando Chacón. El Nacional, sección cultura, 7 de abril de 1993).

En el 2000 Alfredo Ripstein produjo la versión cinematográfica de Otilia Rauda (Dir. Dana Rotberg), novela escrita por Galindo en 1985.