A város az írásos dokumentumok szerint 1332-ben már állt. A XV. században utcás-soros település volt, ahol a két házsort a Békény-patak és a mellette végighúzódó út határozta meg.
Az 1562-es nagy székely felkelés után Gyergyószentmiklós lakosainak jó része a Lázár grófok jobbágya lesz, így szerepel 1567-ben 10 szabad székely telek mellett 78 jobbágycsalád, amely csak 1599-ben válthatta meg magát.
1661-ben Ali basa dúlja fel a települést; 1668-ban a Moldvából áttelepült örmények erősítik a helység kereskedelmét és indítják el annak városiasodását.
A városban napjainkban mintegy 600 örmény él, a meggazdagodott egykori kereskedőcsaládok barokk házai ma is láthatóak a Márton Áron utcában.
A város római katolikus temploma a XV. század végén épült, később barokk stílusban átalakították, de tornya megmaradt eredeti, gótikus stílusában.
A barokk stílusú örmény katolikus templomot 1730-1734 között építették, egy gótikus kápolna helyén, melynek Mária-oltárszobrát később megtalálták a várfal egyik bástyájának padlásán.
A templom bástyákkal és lőrésekkel ellátott várfalát 1748-ban készítették. Az épület mérete és szépsége jól tükrözi az örmény közösség egykori gzdagságát és ízlésvilágát.
A XIX. században Gyergyószentmiklós a térség egyik legfontosabb kereskedelmi központjává vált. A város központjában, a piac helyén alakult ki a mai főtér.
A főtéri parkban látható a közelmúltban készült Szent Miklós-szobor, mely Burján Emil alkotása.
Számos barokk lakóház is épült a városban, például a régi római katolikus plébánia épülete, az örmény plébánia, a Lázár család háza, a Romfeld-ház.
A valamikori barompiac hatalmas területén épült fel a város gimnáziuma, amely 1908-ban nyílt meg. A gimnázium mai neve Salamon Ernő líceum és magyar nyelven működik. Előtte található a költő mellszobra, amely Izsák Márton szobrászművész alkotása. Az iskolával szemben levő kis parkban Balogh Péter szép térplasztikája található.
A város érdkessége a Csíky-kert, amely mintegy 16 hektáron terül el. A kert nevét alapítójáról, dr. Csíky Dénesről kapta, aki a fákat úgy válogatta össze, hogy lombhulláskor és rügyfakadáskor a városból nézve a tulajdonos monogramját mutatták.
A gyergyószentmiklósi múzeum alapítója Tarisznyás Márton, neves néprajzkutató, muzeológus volt. A múzeum ma az ő nevét viseli, és a gyűjtemény az ő szervezőmunkája során állt össze.