Położona w środkowej Kalifornii, Misja San Luis Obispo de Tolosa nosi imię Świętego Ludwika, biskupa Tuluzy, i została założona jako piąta w łańcuchu 1 września 1772 roku przez Ojca Junipero Serra. Misja została założona trzy lata po tym, jak ojcowie po raz pierwszy odkryli La Cañada de Los Osos – Dolinę Niedźwiedzi – podczas nieudanej wyprawy z San Diego w poszukiwaniu Monterey.
Jak zapasy skurczyły się w 1772 roku w już ustanowionych czterech misjach w Kalifornii, mieszkańcy byli nękani brakiem żywności. Pamiętając o Dolinie Niedźwiedzi, latem 1772 roku wysłano ekspedycję myśliwską, która miała przywieźć mięso. Miejscowi Indianie byli wdzięczni żołnierzom za zabicie niedźwiedzi – wrogów, których się obawiali. Część mięsa została wymieniona z miejscową ludnością w zamian za jadalne nasiona, po czym ojciec Serra zdecydował, że La Cañada de Los Osos będzie idealnym miejscem na piątą misję. Chociaż miasto San Luis Obispo nie pozostało surowym krajem niedźwiedzi, posąg niedźwiedzia grizzly siedzi jako przypomnienie na placu misji.
W 1776 roku, cztery lata po jej założeniu, Indianin wystrzelił płonącą strzałę na dach jednego z budynków misji, rozpoczynając katastrofalny pożar, który poważnie uszkodził kilka budynków. Po tym incydencie ojcowie rozpoczęli pracę nad produkcją dachówek na miejscu, aby zmniejszyć podatność na ogień.
W miarę jak miasto się modernizowało, misja również. To, co kiedyś było kuchnią ojców, teraz jest tym centrum młodzieżowym. Misja San Luis Obispo jest jedną z jedynych misji, które nigdy nie musiały się przenosić; wciąż stoi na swoim pierwotnym miejscu.
Mury misji, które mają od 50 do 60 stóp wysokości, zostały zbudowane zgodnie z prawem Watykanu. Prawo to mówiło, że kościoły powinny być budowane tak wysokie jak miejscowe drzewa – w tym przypadku sosny. Kościół, z długą nawą wtórną tworzy kościół w kształcie litery L, jedyny tego rodzaju wśród misji kalifornijskich.
Ojciec Luis Antonio Martinez, który zarządzał misją przez 34 lata, uprawiał dużą winnicę misyjną. Sprzedawał część tego wina innym misjom, gdy te nie mogły uprawiać własnego, a także eksportował je aż do Anglii i Rosji.