Budapesten született, a Lónyay utcai Református Gimnázium diákjaként tett érettségi vizsgát. A Budapesti Tudományegyetem és az Eötvös Collegium magyar–német szakos hallgatója lett 1941-ben. Finnugor és általános nyelvészetből 1945-ben tette le bölcsészdoktori szigorlatát A vogul nyelv szóvégi magánhangzói címmel. az Országos Széchényi Könyvtár alkalmazásában 1945–1951 között könyvtárosi teendőket látott el. Az MTA Nyelvtudományi Intézetének finnugor osztályának vezetőjeként dolgozott 1951–1959 között, 1952-ben a nyelvtudomány kandidátusa, 1967-ben akadémiai doktora lett. A 36 éves korában Szegedre költözött, s négy szemeszternyi bécsi vendégprofesszorságtól eltekintve (1969–1971) másfél évtizeden keresztül oktatott itt. Egyetemi tanári kinevezésével új fejezet kezdődött a szegedi finnugor nyelvészeti oktatás és kutatás történetében.

A Finnugor Nyelvtudományi Intézetté alakult egykori Ural-Altaji Tanszéken Mészöly Gedeon örökébe. Elődeivel ellentétben elsősorban uralista volt: kutatásai középpontjában a szamojéd nyelvészet és az uráli őstörténetkutatás állt. A szamojéd nyelvészetnek szinte valamennyi ágát művelte. Vizsgált hangtani problémákat (a szókezdő nazálisok kialakulása, a glottis-zárhangok és a fokváltakozás kérdése stb.), elemzett fontos alaktani kérdéseket (a predikatív ragozás, az infinitívusz eredeté stb.), s a mondattanban is bizonyította jártasságát (a tagadó igei alakok szintaxisa). Érdeklődése a névtanra is kiterjedt. Kiadott fontos szamojéd forrásokat. Az 1966-ban publikált Chrestomathia Samoiedica című könyve értékes hiánypotlás, amely a két legfontosabb szamojéd nyelvnek, a nyenyecnek és a szölkupnak a leírását tartalmazza. Szamojéd stúdiumai nem szűkültek le a nyelv vizsgálatára, hanem kiterjedtek a szamojédság szellemi és anyagi kultúrájára és történelmére is. The Samoyed Peoples and Languages című munkája (1963) sokoldalú tájékoztatást ad a szamojédok nyelvéről, jelenéről és múltjáról.

Jelentős érdemeket szerzett az uralisztika tartalmi és módszertani megújításában. 1966-ban megjelent Bevezetés az uráli nyelvtudományba című tankönyvében tömör, de világos összefoglalást ad az uralisztika feladatairól, módszereiről, elért eredményeiről. A Nyelvtudományi Közlemények főszerkesztője (1967–1985), majd szerkesztőbizottsági elnöke (1985–1994). Az utánpótlás nevelését megkönnyítette, hogy 1964-ben Szegeden is megindult a finnugor C szakos képzés. Az 1963-ban Budapesten bevezetett szak indítását az ELTE Finnugor Tanszéke kezdeményezte, a tantervet azonban Hajdú Péter dolgozta ki.

Az 1972/73. és 1973/74. tanévektől a turkológiai és altajisztikai stúdiumok fokozatos bővülését eredményezte, hogy a Bölcsészettudományi Kar dékánja lett. Tudományos eredményei alapján az MTA 1970-ben levelező, 1976-ban rendes tagjává választotta. Hajdú Péter 1974-ben Budapestre távozott, s a tanszék vezetését Mikola Tibor vette át.

1974–1982 között az MTA Nyelvtudományi Intézetének igazgatója, majd 1982-től egy évtizedig az ELTE Finnugor Tanszékén egyetemi tanár (1986–1991 közt tanszékvezető egyetemi tanár).