A Közép-Kaliforniában található San Luis Obispo de Tolosa missziót Szent Lajosról, Toulouse püspökéről nevezték el, és 1772. szeptember 1-jén Junipero Serra atya alapította az ötödik a sorban. A missziót három évvel azután alapították, hogy az atyák először fedezték fel a La Cañada de Los Osos-t – a Medvék Völgyét – egy sikertelen utazás során San Diegóból Monterey-t keresve.
Amint 1772-ben a már létrehozott négy kaliforniai misszióban fogytak az ellátmányok, a lakosokat élelmiszerhiány sújtotta. A Medvék Völgyére emlékezve 1772 nyarán vadászexpedíciót küldtek, hogy húst hozzanak haza. A helyi indiánok hálásak voltak a katonáknak, amiért megölték a medvéket, a rettegett ellenséget. A hús egy részét ehető magvakért cserébe elcserélték a helyiekkel, ami után Serra atya úgy döntött, hogy La Cañada de Los Osos ideális hely lenne az ötödik misszió számára. Bár San Luis Obispo városa nem maradt a medvék vad országa, egy grizzly medve szobra emlékeztetőül ott áll a misszió terén.
1776-ban, négy évvel az alapítás után egy indián lángoló nyilat lőtt az egyik missziós épület tetejére, és ezzel katasztrofális tüzet okozott, amely több épületet súlyosan megrongált. Az eset után az atyák elkezdték a tetőcserepek helyi gyártását, hogy csökkentsék a tűzveszélyt.
Amint a város modernizálódott, úgy modernizálódott a misszió is. Ami egykor az atyák ingyenkonyhája volt, az ma ez az ifjúsági központ. A San Luis Obispo misszió egyike azon kevés misszióknak, amelyeket soha nem kellett áthelyezniük; még mindig az eredeti helyén áll.
A misszió 50-60 láb magas falai a vatikáni törvények szerint épültek. Ez a törvény kimondta, hogy a templomokat olyan magasra kell építeni, mint a helyi fa – ebben az esetben a fenyő. A templom hosszú mellékhajójával L alakú templomot alkot, amely az egyetlen ilyen a kaliforniai missziók között.
Luis Antonio Martinez atya, aki 34 éven át vezette a missziót, nagy missziós szőlőt termesztett. Ennek a bornak egy részét eladta a többi missziónak, amikor azok nem tudtak sajátot termelni, és egészen Angliáig és Oroszországig exportálta.