Tidligere ble polemikk også kalt for «pennekrig» eller «pennefeide», som regel ført i det offentlige rom som skriftlig i aviser og tidsskrifter. Begrepet brukes også om stridsskriftartikkel med en særdeles skarp brodd mot andres meninger, men også om usaklig kritikk. Det ligger i sakens natur at polemikker ofte er kontroversielle og preget av konflikter. En polemiker er en stridslysten skribent, en som ikke verger seg å ta del i polemikker. Polemikk brukes også ofte negativt, eksempelvis når en debattant vil stemple en annen som man diskuterer med ved å kalle vedkommende for en polemikker.
Verbet er å polemisere.
Et antonym (ord med motsatt mening) til polemikk er apologia (forsvarsskrift).
Det har vært flere berømte polemikker: i Norge var Johan Sebastian Welhaven og Henrik Wergeland litterære fiender. Welhaven skrev blant annet «Henrik Wergelands Digtekunst og Polemik ved Aktstykker oplyste» i 1832. På 1960-tallet markerte Jens Bjørneboe seg som en skarp polemiker.