Historia osiedla zaczęła się w 1847 roku, gdy po przegranych wojnach z Brytyjczykami Chiny zmuszone zostały oddać im pod kontrolę wyspę Hongkong. Żeby zachować kontrolę nad brytyjską aktywnością w regionie, cesarz zdecydował o wybudowaniu w bezpośrednim sąsiedztwie garnizonu wojskowego, obsadzonego przez kilkuset żołnierzy.

Ale Chiny coraz bardziej słabły, a Brytyjczycy rośli w siłę, by w końcu w 1899 roku uderzyć i zniszczyć chiński garnizon. Nie przejęli jednak jego pozostałości i wycofali się, a istniejące zabudowania zostały ponownie zasiedlone przez Chińczyków, napływających już bez żadnej kontroli. Nowe osiedle, powstające w miejscu garnizonu, formalnie nadal pozostawało pod władzą Pekinu, ale nieformalnie leżało już w powiększonych zbrojnie granicach brytyjskiego Hongkongu.

W praktyce zaś stało się niczyje.

Tak się zaczęła historia Miasta Ciemności - na wschodnim styku hongkońskich obszarów Koulun i Nowych Terytoriów, o powierzchni około 2,5 hektara - tyle, co warszawskiej Sali Kongresowej w Pałacu Kultury i Nauki, mniej niż cztery boiska piłkarskie. Kowloon Walled City zaczęło być w sposób niekontrolowany zaludniane i zabudowywane, jednocześnie nie miało jednak większego znaczenia i było trudne do zintegrowania. Brytyjczycy postanowili pozostawić je własnemu losowi.

Gwałtowny rozwój tego terenu nastąpił, gdy w 1949 roku w Chinach władzę przejęli komuniści. Miliony Chińczyków zaczęły uciekać przed siłami Mao Zedonga, m.in. masowo przekraczając granicę z wciąż brytyjskim Hongkongiem. W sumie do Hongkongu uciekło wówczas kilkaset tysięcy ludzi, a ich pierwszym przystankiem po drugiej stronie granicy niemal zawsze była właśnie ta "ziemia niczyja" - pozostająca poza czyjąkolwiek kontrolą enklawa, w której nie pytano o powody emigracji czy dokumenty, ale która dawała schronienie przed chińskimi komunistami.