Pozsony közelében, Magyardiószegen született. Itt járt elemi iskolába, a középiskolát Zsolnán kezdte, és Kecskeméten folytatta. A budapesti tudományegyetem magyar–német–francia szakos hallgatója és az Eötvös Collegium tagja lett 1909-ben. Négy évvel később, 1913-ban, immár tanári és bölcsészdoktori oklevéllel zsebében Párizsba utazott, hogy a Sorbonne ösztöndíjas hallgatójaként egészítse ki egyetemi tanulmányait. 1913-ban megjelent doktori értekezésének a címe: A Karthausi helye a szentimentális regényirodalomban. Eötvös és Sainte-Beuve. Szicíliai hadifogságát előbb Carini, majd Cefalù táborában (Caserma Bottá) folytatta, ezek a köztudomásúan viszonylag „kényelmesnek” mondható hadifogolytáborok lehetőséget adtak számára az olasz nyelvvel és kultúrával komolyabban foglalkoznia. Az első világháború alatti hároméves olasz fogságában megtanulta olaszul és a Vita Nuova magyar fordításával tért vissza.

A Közoktatási Népbiztosság az 1919/1920. tanévtől Székesfehérvárra, majd Budapestre nevezte ki középiskolai tanárnak, ahol 1924-ig tanított. Közben 1923-ban megkezdte egyetemi pályafutását: az olasz irodalomtörténet magántanára lett a budapesti tudományegyetemen. 1924–1935 között a pécsi egyetemen az olasz nyelv és irodalom egyetemi tanára, 1935–1940 között a római egyetem tanára, közben a római Magyar Intézet igazgatója volt (1938–1939).

A második világháború időszakában a szegedi egyetem Olasz Filológiai Intézetének egyetemi tanárává nevezték ki (1940). Jelentős kutatói múlttal érkezett Szegedre, s olyan egymástól távol eső területeken alkotott alapműveket, mint Kossuth olasz kapcsolatai és a Jókai-kódex forrásai. Koltay-Kastner szegedi évei szintén igen termékenyek: 1942-ben írta meg a Cola di Rienzo és a magyar renaissance kezdetei, továbbá Dante „Új élet”-e című munkáját. Ugyanebben az évben bekapcsolódott a Délvidéki Szemle szerkesztőbizottsági munkájába. Az 1942/1943. tanévben a bölcsészkar dékánjaként, a 1944/45. tanévben pedig az egyetem rektora.

A vesztes világháború után 1946-ban újonnan létrehozott Angol Filológiai Intézetet három tanév időtartamára, az olasz kultúra tanszékét pedig Olasz Filológiai és Összehasonlító Irodalomtörténeti Intézet néven bízták irányítására (1947–1950). Az egyetemen az 1949/1950. tanév végén kormányrendelettel szüntették meg az élő idegen nyelvek és kultúrájuk oktatását (1957-ig) és a modern filológiai intézeteket Szegeden, csupán a Szlavisztikai Intézetből maradt egy Orosz Intézet.

Ebben az kényszerű szünetidőszakban megbízást kapott az Akadémiai Kiadótól új nagyszótár készítésére: a nevével fémjelzett Magyar-olasz nagyszótár 1963-ban jelent meg. A Sectio Philologica, a Szegedi Tudományegyetem tudományos acta folyóirata 1955-ben jelentkezett újra. Ennek irodalmi füzetében jelent meg Koltay-Kastner Jenő Ugo Foscolóról írt nagy tanulmánya 1958-ban és 1959-ben. Halász Előddel és Király Istvánnal az Irodalom című lapot (1958–1959), Baróti Dezsővel és Halász Előddel 1959-től az Irodalomtörténeti dolgozatok sorozatot szerkesztette. Az újraindított Román Nyelvek és Irodalmak Intézetében francia és olasz nyelvi képzés is folyt, ennek a vezetését 1957–1968 között nyugdíjazásáig látta el.

A magyarországi italianisztika kimagasló egyénisége 1985. március 3-án, 93 éves korában hunyt el Szegeden.