O mládí sv. Polykarpa víme pouze to, že jej jako sirotka jistá zbožná vdova, jménem Kalista, přijala za svého syna. Kdy se stala křesťankou, vychovala ho v křesťanské víře a před svou smrtí jej učinila dědicem celého svého majetku. Milosrdenství, které mu prokázala, měl vždy na mysli. Domníval se, že nemůže projevit vděčnost Bohu jiným způsobem, než tak, že i on bude stejně milosrdný k bídným a těm, kteří potřebují pomoc.
Sv. Polykarp byl žákem svatých apoštolů, zejména sv. Jana. Vyznačoval se jak čistým a nevinným životem, tak horlivostí v hlásání evangelia a šíření víry. Jeho ctnosti byly důvodem, že jej sv. Jan určil v roce 96 za biskupa ve Smyrně. On je tím „andělem církve“, jehož sv. Jan ve své Apokalypse vzpomíná, jako jediného ze všech biskupů, kterému Ježíš Kristus nic nevyčítal, kterému naopak dal překrásné svědectví: „Andělu církve ve Smyrně piš: Toto praví ten první i poslední, který byl mrtev a je živ: „Vím o tvém soužení a tvé chudobě, ale jsi bohat; vím, jak tě urážejí ti, kdo si říkají židé, ale nejsou, nýbrž je to spolek satanův! Neboj se toho, co máš vytrpět. Hle, ďábel má některé z vás uvrhnout do vězení, abyste prošli zkouškou, a budete mít soužení po deset dní. Buď věrný až na smrt, a dám ti vítězný věnec života.“ (Zj 2,8-10).
Sv. Polykarp vedl učením a příkladem svou církev jako skutečný apoštol. Silou svého slova přivedl ke křesťanství mnoho pohanů. Jeho autorita, jako žáka apoštolů a bezprostředního svědka apoštolské tradice, byla tak velká, že ho již za jeho života uznávali za kníže církve celé Asie. V době vznikajících herezí se dívali na něj, jako na sloup pravdy. Sv. Polykarp si přál být umučen pro Krista. Tato touha v něm ještě více vzrostla, když vedly přes Smyrnu do Říma spoutaného sv. Ignáce z Antiochie.
Polykarp spěchal k tomuto vyznavačů, objal ho a oba si dlouho povídali o štěstí trpět pro Boha, o věčném štěstí, jako náhradě za několik chvil bolestí. Později mu sv. Ignác psal z cesty a prosil ho, aby potěšil asijské církve, protože on sám to udělat nemůže. Odtud pochází list sv. Polykarpa Filipanům, který dává moudré rady pro každý stav a dobu. Zvlášť se ztěžuje v tomto dopise na odpadlictví od pravé víry a varuje před obludnosti těch, kteří jiné na to naváděli. Píše: „Každý, kdo nevyznává, že Ježíš přišel v těle, je antikrist. Kdo nevyznává, že byl mučen na kříži, je z ďábla. Kdo libovolně překrucuje slova Pána a tvrdí, že není ani zmrtvýchvstání ani soudu, ten je satanovým prvorozencem. Proto se varujme pošetilostí mnohých lidí i falešného učení a přimkněme se k učení danému nám na počátku. Bděte na modlitbách, buďte vytrvalí v postech a prosme všemohoucího Boha, aby nás neuvedl do pokušení. Duch sice jest připraven, tělo však slábo, pravil Pán.“
Za sporu o slavení velikonoc se vydal do Říma k papeži Anicetovi, aby s odvoláním se na apoštola Jana obhájil maloasijskou praxi slavení velikonoc o 14. nisanu. Spor o slavení velikonoc vlastně spočíval v užívání rozdílného kalendáře. Křesťané židovského původu se řídili kalendářem lunárním, jímž se řídili Židé. Křesťané pohanského původu hlavně v okolí Říma a v Egyptě se řídili kalendářem solárním, zvaným Juliánským. Začátek lunárního roku určovalo pro každý rok zvlášť židovské synedrium podle prvního jarního úplňku: Prvním měsícem tohoto roku byl měsíc nisan (mezi březnem a dubnem) a velikonoce slavili Židé 14. nisanu. Křesťané židovského původu slavili velikonoce bud se Židy nebo první neděli po 14. nisanu. Křesťané pohanského původu, aby si zachovali juliánský kalendář a při tom aby se neodklonili od doby, ve které Ježíš Kristus zemřel a vstal z mrtvých, stanovili si velikonoce na neděli po prvním jarním úplňku bez ohledu na to, kdy byly slaveny židovské velikonoce. Tato rozdílná praxe, při níž se maloasijští křesťané odvolávali na apoštola Jana a Filipa, kdežto křesťané kolem Říma a v Egyptě na Petra a Marka, přivedla sv. Polykarpa do Říma. Spor o slavení velikonoc byl ukončen až po Polykarpově smrti za papeže Viktora (189-198) ve prospěch křesťanů okolí Říma. S konečnou platností o slavení velikonoc, jak ji slavíme dnes, bylo rozhodnuto na 1. nicejském koncilu r. 325.
Když se Polykarp vrátil z Říma do Smyrny, vypuklo pronásledování křesťanů. V samotné Smyrně začalo tím, že císařův náměstek Statius Quadrát dal dvanáct křesťanů roztrhat šelmám. V tomto smutném období zdvojnásobil Polykarp svou horlivost. Chodil z domu do domu, napomínal své věřící, aby zachovali věrnost pravé víře a vytrvali až do konce. No křesťané, kteří se více báli o život svého pastýře jako o svůj, jej prosili, aby se na nějaký čas někde uchýlil. Sv. Polykarp odešel do jisté vesnice ale sluhové soudce města Smyrna, ho i tu našli. Když se svatý dozvěděl o hrozícím nebezpečí, jeho odpověď byla: „Staň se vůle Boží.“ Sám se vydal vojákům, kteří přišli po něj. Jeho zjev je přemohl takovou úctou a divili se jeho věku i klidu i spěchu se zatýkáním takového starce.“ Polykarp přikázal dát jim jíst a prosil o čas na modlitbu. Modlil se za všechny členy církve, za přátele i nepřátele, tak upřímně a srdečně, že vojáci ho pojmenovali mužem Božím a proklínali své hanebné poslání. Po skončení modlitby ho vojáci posadili na koně a vedly do města.
Očití svědci takto popisují jeho mučednictví: „Když byla hranice připravena, odložil si Polykarp všechny šaty, rozvázal si pás a začal si také zouvat boty; dřív to nedělával, protože se ho vždycky všichni věřící snažili okamžitě dotýkat. Už před mučednickou smrtí byl totiž pro svůj svatý život ozdoben všemi možnými dary. Okamžitě pak kolem něho začali klást všechno, co bylo přichystáno na hranici. Když ho však chtěli ještě přibít hřeby, řekl: »Nechte mě takto. Ten, jenž mi dopřál vytrpět smrt ohněm, mi dá také sílu, abych i bez vašeho zajištění hřeby zůstal v plameni klidně stát.« Nepřibili ho tedy, jen ho přivázali.
Když tedy složil ruce za záda a byl spoután jako nejlepší beránek, vybraný k oběti z velkého stáda, byl připraven jako celopal, v němž Bůh nalezl zalíbení, a s očima upřenýma k nebi řekl: »Pane Bože všemohoucí, Otče milovaného a požehnaného Syna tvého Ježíše Krista, který nám o tobě zvěstoval, Bože všech andělů a mocností a všeho stvoření, Bože všech pokolení spravedlivých, kteří žili před tvou tváří! Velebím tě, neboť tohoto dne a v této hodině jsi mi dopřál, abych směl ve sboru mučedníků pít z kalicha tvého Krista, na vzkříšení k věčnému životu duše i těla, v neporušenosti skrze Ducha svatého. Kéž jsem mezi ně dnes před tvou tváří přijat jako oběť znamenitá, hodná tvého zalíbení, tak jaks mi to určil a oznámil a jak to nyní naplňuješ, neboť tys Bůh pravdy, který nezná lži. A proto tě za všechno chválím a velebím, za všechno tě oslavuji skrze věčného a nebeského velekněze Ježíše Krista, tvého milovaného Syna, neboť skrze něho je tvoje všechna sláva, s ním a se svatým Duchem, nyní i po všechny budoucí věky. Amen.«
Když vyslovil »Amen« a dokončil svou modlitbu, zapálili pochopové hranici. A když plameny vysoko vyšlehly, spatřili jsme my, kterým bylo dovoleno přihlížet, veliký div. I proto jsme byli zachováni, abychom mohli i jiným zvěstovat, co se přihodilo. Oheň se totiž vyklenul jako když vítr napne lodní plachtu a obloukem obklopil mučedníkovo tělo. To neskýtalo uprostřed ohně pohled, jako by se pálilo maso, ale jako když se peče chléb anebo jako když září v peci tříbené zlato a stříbro. A také jsme ucítili takovou vůni, jako když zavoní kadidlo nebo nějaká jiná vzácná vůně. Když tedy bezbožníci konečně viděli, že oheň nemůže strávit jeho tělo, rozkázali dobíječi, aby Polykarpa probodl dýkou. Když tak učinil, vytrysklo z levého boku množství krve, až uhasila oheň. Lidé žasli, že je takový rozdíl mezi nevěřícími a vyvolenými.“
Polykarp byl probodnut dýkou 23. února 155 kolem druhé odpoledne. Jeho tělo bylo spáleno a křesťané pohřbili jeho kosti. Ostatky mučedníka jsou dnes uchovávány v kostele S. Ambrogio della Massima v Římě.