除了訪港的格蘭特總統，19世紀中後期另外兩位美國總統開斯（Rutherford Birchard Hayes）和阿瑟（Chester Alan Arthur），對港美關係發展也頗有影響，而且歷史地位一直被低估。

自從1840年代後期開始，不少華人從香港出發，前往加利福尼亞「掘金」，令當地經濟蓬勃發展，華人雖然不一定能融入本地生活，但也算能夠各取所需。但到了1858年，加利福尼亞州政府通過《排華法案》，列明大清帝國和蒙古人不得非法進入本州，法案四年後雖被聯邦政府最高法院推翻，但已埋下雙方的仇恨。加上美國內戰後，經濟衰退，華人又越來越多，帶來大量勞動力，而且工資低廉，令不少美國人開始歸咎華人拉低生活水平，導致失業，因而感到不滿，醞釀再次立法，禁止華人移民。美國的態度，足以對香港的人口轉口貿易帶來根本影響。

1879年，美國國會通過第一版的《排華法案》，要求直接廢除《蒲安臣條約》，但被凱斯總統直接否決。1882年，美國國會再通過《排華法案》，要求在十年內禁止大清帝國國民移民到美國，得到阿瑟總統簽署確認。然而，阿瑟最初其實是否決了《排華法案》的第二個版本，這個版本對華工的禁令為期二十年，原因也是認為會違反《蒲安臣條約》。

背後的原因，其實是美國內部民意也有大量分歧，西部州份支持排華，東部州份則不以為然，而阿瑟總統的根據地在紐約，曾長期擔任紐約海關稅員，擔心排華對紐約這類東部大城市的利益弊多於利。雖然最終在壓力下，阿瑟還是簽署了新版本，從香港出發到美國的華工貿易還是大受打擊，但十年與二十年的區別，還是令香港華人到太平洋保留了一絲希望。與此同時，在香港也醞釀了一些排美運動，使英國殖民政府被夾在美國與香港人中間，詳見前段敘述。