鄒族稱玉山為「pattonkan」，傳說其祖先原住於玉山之巔。據聞布農族人稱玉山為「Tongku Saveq」，「Tongku」是形容指山頂斜坡，「Saveq」〈或Savih、Usavih〉則是指玉山，「Saveq」是遠古布農族人大洪水傳說中「提供避難的山峰」或「最後的避難地」之意。

而玉山之名，史籍上最早描述者，為清康熙年間（1697年）郁永河所著「蕃境補遺」一書中所云：「玉山在萬山之中。其山獨高。無遠不見。巉巖峭削。白色如銀。遠望如太白積雪。四面攢峰環繞。可望不可及。皆言此山渾然如玉。每暗霽。於郡城望之。不啻天上白雲也。」，清光緒年間出刊的雲林縣採訪冊一書中云：「八通關山又名玉山。在縣治東一百餘里。三峰玉立，高插天外。峰頂隱約雲端。奇幻莫測。山無大樹。草木出土。輒為寒霜凍枯。四時積雪。六月不開行。終日皆履雪地。即彰化志所稱雪山也。」由此可知玉山原稱八通關山，又稱雪山。

外人對玉山稱呼，則起於駐臺南英國領事Robert Swinhoe以美Alexander號商船船長W. Morrison首次航行臺灣遙見玉山山勢獨特，而載於航海日誌中，為外人最早之記載，遂以該船船長之名命之，此後西方人士便沿用Morrison mountain之名。 西元一八九七年，日人因玉山高度超過富士山二百餘公尺，遂改名為「新高山」，週遭主要山峰則分別以東、西、南、北山稱呼。光復後，民國三十六年臺灣省政府公佈將「新高山」復名為「玉山」，而東、西、南、北山則易為東、西、南、北峰。