ツオウ族は彼らの言葉では玉山を「pattonkan（パットンカン）」と呼び、自分たちの祖先は玉山に住んでいたと伝えられています。玉山の名前が初めて歴史書物に現れたのは、清康煕年間（1697年）に郁永河が記した「蕃境補遺」の中です。その後、清光緒年間に出版された雲林県訪問記の一節にも登場します。この二つの書物から玉山の原名は八通關山で、又の名を雪山と呼ばれていたことが分かります。

外国では何とよばれていたかと言うと、アメリカのアレクサンダー号商船船長W.モリソンが台湾の処女航海の航海日誌に玉山の独特な山容が記載されていることを発見し、駐台南英国領事Robert　Swinhoeはこの船の名前からモリソン山と名付けました。以後西洋人の間ではその名前で呼ばれていました。

1897年、日本人は玉山の高度が富士山よりも200メートル高いことから、「新高山」と名付けました。主要山峰は東、西、南、北山と呼びました。

戦後、1947年に台湾省政府は「新高山」を「玉山」に戻し、東、西、南、北山を東、西、南、北峰と呼ぶことを公布しました。