Le 25 avril 1674, le Comte de Frontenac, gouverneur de la Nouvelle-France, concédait à Pierre de St-Ours, capitaine du Régiment de Carignan, un terrain de deux lieues de front, le long du fleuve St-Laurent, à commencer, quatre arpents en deçà de la Rivière du Chêne, en montant le long du fleuve et de deux lieues de profondeur. Ce fief reçut le nom de Seigneurie de Deschaillons. De 1724 à 1854, la succession St-Ours demeura propriétaire de ladite Seigneurie. Les privilèges féodaux furent abolis le 18 décembre 1854 et le territoire passa alors aux mains des King, grands financiers de Sherbrooke et constructeurs du chemin de fer « Lotbinière et Mégantic ».

Comme notre territoire se trouvait à l’ouest de la Seigneurie de Deschaillons, ceux qui vinrent s’établir ici eurent à payer des rentes seigneuriales jusqu’au 11 novembre 1940, alors que le gouvernement provincial fit le rachat de ces rentes.

Les premiers colons venus de St-Pierre-les-Becquets et de Deschaillons commencèrent à coloniser la paroisse vers le milieu du 19e siècle. Ils travaillèrent au gré de leur caprice et s’installèrent là où ils le voulaient. Dans les premiers défricheurs, on trouve les noms de : Michel Goron, P. Mailhot, M. Barabé et Joseph Gouin (parenté de Sir Lomer).

Mais les premiers établissements se firent dans le rang 5, connu sous le nom de Pins Secs et Veste Bleue. Ce furent messieurs Joseph Mailhot, Olivier Jacques et Pierre Laquerre qui s’établirent en premier à Fortierville en 1850. En 1854, Jean-Baptiste Lemay vint s’établir dans le rang connu sous le nom Grand Brûlé. Il resta longtemps seul. En 1875, J.-B. Fortier et Wilbrod Fortier se fixèrent dans le rang 6.

En 1863, dans le rang Frontenac, ce fut Jérémie Tousignant que l’on surnommait « le père Fanfan » à cause de son affection pour les enfants. Un peu plus tard, Ovide Tousignant s’installa lui aussi dans ce même rang. Dans le rang 6, Télesphore Neault fut un des premiers colons. En 1871, dans le rang St-Sauveur, s’établirent messieurs Isaac Poisson, Octave Gagnon, Joseph Auger et Ovide Grimard. Vers 1872, Antoine Croteau et Thomas Beaudet vinrent habiter le rang 7, aujourd’hui appelé le rang St-Antoine. À l’extrémité ouest du même rang, on retrouvait les Labrecque. D’autres noms apparaissent dans les vieux registres de la paroisse. On peut difficilement les nommer tous : les Lebeuf, Paris, Roux, Charland, Brisson, Marcotte, Laliberté, Jacques, Baril, Auger, Lacroix, Badeau et les Martel.

La municipalité de la paroisse de Ste-Philomène fut érigée civilement le 1er mai 1882, en vertu du code municipal.

En 1882, les rangs 5, 6 et 7 étaient à peu près colonisés et déjà, au village, on avait bâti quelques maisons et des magasins commençaient à s’ouvrir.