Misionář San Luis Obispo de Tolosa se nachází ve střední Kalifornii, je pojmenován po svatém Ludvíkovi, biskupovi z Toulouse, a byl založen jako pátý v pořadí 1. září 1772 otcem Juniperem Serrou. Misie byla založena tři roky poté, co otcové poprvé objevili La Cañada de Los Osos – Údolí medvědů – během neúspěšné cesty ze San Diega při hledání Monterey.
Když se v roce 1772 v již založených čtyřech kalifornských misiích tenčily zásoby, trápil obyvatele nedostatek potravin. Na paměť Údolí medvědů byla v létě 1772 vyslána lovecká výprava, která měla přivézt maso. Místní indiáni byli vojákům vděční za zabití medvědů, obávaných nepřátel. Část masa byla vyměněna s místními obyvateli za jedlá semena, načež se otec Serra rozhodl, že La Cañada de Los Osos bude ideálním místem pro pátou misii. Přestože město San Luis Obispo nezůstalo drsnou medvědí krajinou, na náměstí misie stojí jako připomínka socha medvěda grizzlyho.
V roce 1776, čtyři roky po jejím založení, vystřelil indián hořící šíp na střechu jedné z misijních budov a způsobil katastrofální požár, který vážně poškodil několik budov. Po této události začali otcové pracovat na místní výrobě střešních tašek, aby snížili náchylnost k požárům.
S modernizací města se modernizovala i misie. Z místa, kde kdysi otcové vařili polévku, je nyní toto centrum pro mládež. Misie San Luis Obispo je jednou z mála misií, která se nikdy nemusela stěhovat; stále stojí na svém původním místě.
Stěny misie, které jsou vysoké 50 až 60 stop, byly postaveny podle vatikánského práva. Tento zákon stanovil, že kostely mají být postaveny tak vysoké jako místní strom – v tomto případě borovice. Kostel s dlouhou vedlejší lodí tvoří kostel ve tvaru písmene L, jediný svého druhu mezi kalifornskými misiemi.
Otec Luis Antonio Martinez, který misii řídil 34 let, pěstoval rozsáhlou misijní vinici. Část tohoto vína prodával ostatním misiím, když nemohly pěstovat vlastní, a také ho vyvážel až do Anglie a Ruska.