13. septembril 2018 vahetati Karlsson (koos Francis Perroniga) San Jose Sharksisse Chris Tierney, Dylan DeMelo, Josh Norris, Rūdolfs Balcers, Sharks'i 2020. aasta esimese vooru valik, 2019. aasta teise vooru valik
Ja tingimuslik teine raund 2021. aastal. Ta tegi oma esimese värava Sharksis 18. novembril St. Louis Blues'i 4-0 võidus. Pärast hooaja aeglast algust sai Karlssonist viiendaks kaitsjaks, kellel on vähemalt üks assist 14 järjestikuses mängus pärast Edmonton Oilersile 7. ja 2. võitu 8. jaanuaril 2019. 23. detsembril peatati Karlsson esimest korda oma karjääris kahe mängu jooksul Los Angeles Kings'i mängija Austin Wagneri peale ebaseadusliku tšeki andmise eest. Karlssonil jäi põlvevigastus hooajal paljude mängude vahele, enne kui ta Colorado Avalanche'i vastu tagasi tuli. Ta lõpetas hooaja 45 punktiga 53 mängus, mis oli tema madalaim punktide arv alates 2012/13 hooajast. Karlsson aitas San Jose'l jõuda 2019 playoffides Lääne-Konverentsi finaali, kuigi ta sai St. Louis Blues'i vastu mängus veel ühe põlve vigastuse, mille tagajärjel jäi ta San Jose'i playoffide viimasest mängust ilma, kui meeskond kaotas 6. mängus 5<unk>1. Ta lõpetas playoffid 16 punktiga 19 mängus. 31. mail läbis ta lõõgastuseoperatsiooni.