Atšķirībā no vairuma citu Ķīnas pilsētu, pašai Harbinai kā pilsētai nav senas vēstures. Teritorijā bija zvejnieku ciemati, līdz 1897. gadā krievi sāka būvēt dzelzceļu šajā apgabalā. Krievi vēlējās īsceļu caur šo rajonu. 1896. gadā Cjinu impērija piešķīra Krievijai būvniecības koncesiju Ķīnas Austrumu dzelzceļa būvniecībai Iekšējās Mandžūrijas ziemeļos. Tad krievi uzcēla pilsētu, kur izmitināt personālu, kas palīdzēja būvēt dzelzceļu. Kad dzelzceļu atklāja 1901. gadā, pilsētā dzīvoja dzelzceļa darbinieki. Iedzīvotāju vidū bija daudzi Krievijas ebreji, kuri uz šo rajonu aizbēga Krievijas pogromu laikā. Pēc tam tur apmetās daudzi tūkstoši citu ebreju, un viņi uzņēmās vadošo lomu jaunās pilsētas ēku, uzņēmumu un skolu celtniecībā. Ieraksts liecina, ka Harbinā 1913. gadā kopumā dzīvoja aptuveni 70 000 cilvēku, kas pārsvarā bija krievi, taču tur dzīvoja arī daudzi desmitiem citu tautību cilvēki. 20. gadsimta 10. un 20. gados uz turieni pārcēlās ap 150 000 krievu, lai bēgtu no Krievijas, un baltkrievi mēģināja pilsētu padarīt par bāzi Krievijas austrumu apgabalā. Tūkstošiem ebreju un citu cilvēku pārcēlās uz turieni, lai izbēgtu no fašistiem Eiropā 1930. un 1940. gados.
Simtiem tūkstošu eiropiešu, kas tur apmetās uz dzīvi, dažādu iemeslu dēļ aizbrauca 20. gadsimta 30. gados, Japānas iebrukuma laikā un pēc tam. Japānas karaspēks ieņēma Harbinu 1932. gadā, un bijusī Padomju Savienība pārdeva Ķīnas Austrumu dzelzceļu japāņiem. Notika krievu izceļošana uz bijušo Padomju Savienību un citām vietām. Padomju armijas veiktās Harbinas okupācijas laikā no 1945. gada augusta līdz 1946. gada aprīlim tūkstošiem krievu, kuri aizbēga no bijušās Padomju Savienības, tika spiesti atgriezties. Citi krievi un tur dzīvojošie eiropieši pārcēlās atpakaļ uz savām zemēm vai uz ASV, Austrāliju, Brazīliju vai Izraēlu.