Die in Zentralkalifornien gelegene Mission San Luis Obispo de Tolosa ist nach dem Heiligen Ludwig, dem Bischof von Toulouse, benannt und wurde am 1. September 1772 von Pater Junipero Serra als fünfte in der Kette gegründet. Die Mission wurde drei Jahre nach der ersten Entdeckung von La Cañada de Los Osos – dem Tal der Bären – während einer gescheiterten Reise von San Diego auf der Suche nach Monterey gegründet.
Als 1772 die Vorräte in den vier bereits bestehenden Missionen in Kalifornien zur Neige gingen, litten die Bewohner unter Nahrungsmittelknappheit. In Erinnerung an das Tal der Bären wurde im Sommer 1772 eine Jagdexpedition ausgesandt, um Fleisch zu holen. Die einheimischen Indianer waren den Soldaten dankbar, dass sie die Bären, einen gefürchteten Feind, erlegt hatten. Ein Teil des Fleisches wurde mit den Einheimischen im Tausch gegen essbare Samen gehandelt, woraufhin Pater Serra beschloss, dass La Cañada de Los Osos ein idealer Ort für die fünfte Mission sein würde. Obwohl die Stadt San Luis Obispo kein wildes Bärenland geblieben ist, erinnert eine Statue eines Grizzlybären auf dem Missionsplatz daran.
Im Jahr 1776, vier Jahre nach der Gründung, schoss ein Indianer einen brennenden Pfeil auf das Dach eines der Missionsgebäude und löste damit einen verheerenden Brand aus, der mehrere Gebäude schwer beschädigte. Nach diesem Vorfall begannen die Patres mit der Herstellung von Dachziegeln vor Ort, um die Anfälligkeit für Brände zu verringern.
Als sich die Stadt modernisierte, tat dies auch die Mission. Was einst die Suppenküche der Patres war, ist heute dieses Jugendzentrum. Die Mission San Luis Obispo ist eine der wenigen Missionen, die nie umziehen mussten; sie steht noch immer an ihrem ursprünglichen Standort.
Die 50 bis 60 Fuß hohen Mauern der Mission wurden nach vatikanischem Recht gebaut. Dieses Gesetz besagte, dass Kirchen so hoch wie der örtliche Baum – in diesem Fall die Kiefer – gebaut werden sollten. Die Kirche mit dem langen Nebenschiff bildet eine L-förmige Kirche, die einzige ihrer Art unter den kalifornischen Missionen.
Pater Luis Antonio Martinez, der die Mission 34 Jahre lang leitete, baute einen großen Missionsweinberg an. Er verkaufte einen Teil des Weins an die anderen Missionen, wenn diese keinen eigenen anbauen konnten, und exportierte ihn bis nach England und Russland.