西点军校所在的西点镇曾是美国独立战争中一个重要的军事要塞。据研究西点军校历史的斯蒂温·格罗夫博士介绍，西点历来是兵家必争之地。这主要是哈德逊河在流经西点时程“S”状，且弯度很急，过往的大型船舶经此必须减速，来犯敌船则因减速而易受攻击。更主要的是河西岸的高地具有居高临下的控制作用，如果在此设立军事要塞，颇有“一夫当关，万夫莫开”之势。

当时的大陆军司令乔治·华盛顿将军认为西点是美国最具战略价值的一块阵地，是“打开美国的一把钥匙”。有鉴于此，华盛顿在1778年邀请波兰人、曾参加过美国独立战争中扭转战局的萨拉托加战役的英雄萨丢斯·科什乌兹科上校来协助设计西点军事要塞。经过一番勘察，科什乌兹科在此建立了大小14个据点，控制河道和防御水陆两栖进攻。各据点彼此呼应，相互支援，形成一个合理有效的防御体系。英军若乘船来犯，则无异于自投罗网。即便在今天，其设计思路仍被认为具有现代意识。为了纪念这位波兰人，1828年西点军校还为其塑了像。

从此以后，这位波兰人目光炯炯地俯视着那逶迤而去的哈德逊河。而华盛顿本人也曾在1779年把他的司令部搬至西点。实际上，西点要塞自1778年1月20日屯兵以来，是美国一直在使用的军事设施，它也是西点军校的一个重要组成部分。