1856年，瓊記洋行更把總部直接遷往香港，對香港的前景用腳投票。瓊記在中環炮台里1號（前法國外方傳道會大樓）地下設立辦公室，樓上就是大班赫德自己的私人住宅，以「前舖後居」的方式經營；外國人在東方以這種方式打理生意，也屬罕見，可見赫德對業務的全程投入。

作為中國通，赫德也很知道入鄉隨俗、以華制華的一套。如前所說，各國洋行都會透過不少香港本地買辦協助，使洋行能夠順利經營、植根本土社區，這方面瓊記洋行就走得很前。例如赫德聘請了曾在十三行工作的華人莫仕揚為買辦，以其交際手腕，與外國商人相處得如魚得水，後來莫任揚更擔任東華醫院首屆總理，成為香港華人領袖，也可算是赫德慧眼獨具。而首屆東華總理居然不是來自英商背景，而是美資的買辦，也可見美國商人當時在香港的勢力。

從旗昌、瓊記兩間美國洋行在早期香港經商的發展歷史來看，在英國人眼中，對於世界各地商人前往香港經商完全是樂觀其成，並不視為零和遊戲的競爭，反而深知要是沒有各地資金投資香港，「把餅做大」，英國商人也獨力難支。加上當時香港的常住居民人口有限，國際商人更是鳳毛麟角，所以英國起初對美國機構包括旗昌洋行、瓊記洋行等，都表示歡迎，乃至予以政策優惠。

然而，花無百日紅，世界不停演進，舊有經商模式總會逐漸被淘汰。時至1867年，香港和美國舊金山開闢了定期的輪船航班，而自1870年代起，蘇彞士運河開通，香港和上海又接通國際電報，令香港終於有了國際樞紐的雛形。這些發展，促進了香港航運和消息往來的全面全球化，令代理、中間人等角色漸漸變得不再有必須性和壟斷性。結果，不少香港原有的外資商業機構開始末落，瓊記洋行早在1877年已經倒閉，被英資怡和洋行吞併。旗昌洋行也受到結構性影響，在1891年宣佈破產，加上它早期經營的茶葉、絲綢等生意也開始式微，被其他飲品和紡織品所取替，不能再在香港存活，也是歷史的必然。

但他們的離場，自然不代表美資離開香港。恰恰相反，一雞死一雞鳴，更有規模、更有競爭力的美資陸續登陸香港，例如新興石油產業，就是其一。