Construit sur le domaine de René Robert Cavelier de La Salle acquis par Jean Milot, le fort de Lachine serait situé entre les actuelles avenues Bélanger et Strathyre le long du boulevard LaSalle dans le quartier Highlands. Milot a fait construire un moulin à vent pouvant servir de redoute en cas d'attaques amérindiennes, un manoir et une forge qui contenait aussi un four à pain.
Ces premiers bâtiments, entourés par une palissade de bois, deviennent en 1680 avec la nomination du curé Pierre Rémy, le fort Rémy. L'aide financière du curé Rémy facilite l'acquisition de terrains pour la Fabrique dans le cadre de l'édification de l'église des Saints-Anges de Lachine, du couvent et du presbytère. Ainsi naît le village de Lachine protégé par une garnison. Le fort Rémy abrite en effet un poste de commerce tout en protégeant les habitants contre les attaques, notamment en 1689 lors du « massacre de Lachine ». Cependant, la signature de la Grande Paix de Montréal en 1701 abolit la nécessité de conserver un site fortifié à cet endroit.