Der einleitende Aufsatz zum Roman erzählt von der Heimatstadt des Autors - Salem, von seinen Vorfahren - puritanischen Fanatikern, von seiner Arbeit im Salem-Zoll und von den Menschen, denen er dort gegenüberstehen musste. "Weder die Vordertür noch die Hintertür des Zolls führen zum Paradies", und der Service in dieser Einrichtung trägt nicht zur Blüte guter Neigungen bei Menschen bei. Einmal stöberte der Autor in einem riesigen Raum im dritten Stock des Zolls in Papieren und fand ein Manuskript eines bestimmten Jonathan Pugh, der vor achtzig Jahren gestorben war. Es war eine Biographie von Esther Prien, die Ende des 17. Jahrhunderts lebte. Ein roter Lappen wurde mit den Papieren aufbewahrt, bei näherer Betrachtung stellte sich heraus, dass er erstaunlich mit dem Buchstaben „A“ bestickt war; Als der Autor es an seine Brust legte, schien es ihm, dass er ein Brennen fühlte. Nach dem Whig-Sieg entlassen, kehrte der Autor zur Literaturwissenschaft zurück, für die ihm die Früchte der Arbeit von Mr. Pugh sehr nützlich waren.
Aus dem Bostoner Gefängnis kommt Esther Prien mit einem Baby im Arm. Sie trägt ein wunderschönes Kleid, das sie sich im Gefängnis genäht hat, auf seiner Brust seine scharlachrote Stickerei in Form des Buchstabens „A“ - des ersten Buchstabens des Wortes Ehebrecherin (Ehebrecherin). Jeder verurteilt Esthers Verhalten und ihr trotziges Outfit. Sie wird zum Marktplatz zur Plattform geführt, wo sie unter dem feindlichen Blick der Menge bis eins nachmittags aufstehen muss - eine solche Strafe wurde ihr vom Gericht wegen ihrer Sünde und der Weigerung, ihrer neugeborenen Tochter den Namen des Vaters zu geben, auferlegt. Esther steht am Pranger und erinnert sich an ihr früheres Leben, ihre Kindheit im alten England, eine gebeugte Wissenschaftlerin mittleren Alters, mit der sie ihr Schicksal verband. Als sie sich in der Menge umsieht, bemerkt sie in den hinteren Reihen einen Mann, der ihre Gedanken sofort in Besitz nimmt. Dieser Mann ist nicht jung, er hat den durchdringenden Blick eines Forschers und den gebeugten Rücken eines unermüdlichen Arbeiters. Er fragt andere, wer sie ist. Sie sind überrascht, dass er nichts von ihr gehört hat. Aber er erklärt, dass er nicht hier ist, seit langem den Heiden versklavt ist, und jetzt brachte ihn der Indianer nach Boston, um ein Lösegeld zu erhalten. Ihm wird erzählt, dass Esther Prien die Frau eines englischen Wissenschaftlers ist, der beschlossen hat, nach Neuengland zu ziehen. Er schickte seine Frau nach vorne und verweilte in Europa. Während ihrer zwei Jahre in Boston erhielt Esther keine Nachricht von ihm: Er ist wahrscheinlich gestorben. Das herablassende Gericht berücksichtigte alle mildernden Umstände und verurteilte die gefallene Frau nicht zum Tode, sondern verurteilte ihn, nur drei Stunden auf der Plattform an der beschämenden Säule zu stehen und dann für den Rest seines Lebens das Zeichen der Schande auf seiner Brust zu tragen. Aber alle sind empört, dass sie den Komplizen der Sünde nicht genannt hat. Der älteste Priester in Boston, John Wilson, überredet Esther, den Namen des Verführers preiszugeben, gefolgt von einem jungen Pastor, Dimsdale, dessen Gemeindemitglied sie war, und brach ihre Aufregung. Aber die junge Frau schweigt hartnäckig und hält ihr Baby fest an die Brust.
Als Esther ins Gefängnis zurückkehrt, kommt derselbe Fremde zu ihr, den sie auf dem Platz gesehen hat. Er ist Arzt und nennt sich Roger Chillingworth. Zuerst beruhigt er das Kind, dann gibt er die Medizin Esther. Sie hat Angst, dass er sie vergiften wird, aber der Arzt verspricht, weder die junge Frau noch das Baby zu rächen. Es war zu anmaßend von ihm, ein junges schönes Mädchen zu heiraten und auf ein gegenseitiges Gefühl von ihr zu warten. Esther war immer ehrlich zu ihm und tat nicht so, als würde sie ihn lieben. Beide haben sich also gegenseitig Schaden zugefügt. Aber Chillingworth möchte den Namen seiner geliebten Esther wissen, den Namen der Person, die beiden Böses angetan hat. Esther weigert sich, ihn zu nennen. Chillingworth lässt sie schwören, dass sie niemandem seinen richtigen Namen und ihre Beziehung zu ihm verraten wird. Lassen Sie alle glauben, dass ihr Mann tot ist. Er beschließt auf jeden Fall herauszufinden, mit wem Esther gesündigt hat und rächt ihren Geliebten.
Nach dem Verlassen des Gefängnisses lässt sich Esther in einem verlassenen Haus am Stadtrand von Boston nieder und lebt als Handarbeit. Sie ist eine so qualifizierte Stickerin, dass sie für Kunden kein Ende hat. Sie kauft sich nur das Nötigste und verteilt den Rest des Geldes an die Armen. Oft hört sie Beleidigungen statt Dankbarkeit. Ihre Tochter Pearl ist wunderschön, hat aber eine leidenschaftliche und wechselhafte Einstellung, so dass Esther mit ihr nicht einfach ist. Pearl will keine Regeln befolgen. Ihr erster bewusster Eindruck war der scharlachrote Buchstabe auf Esthers Brust.
Das Siegel der Ablehnung liegt beim Mädchen: Sie ist nicht wie andere Kinder, spielt nicht mit ihnen. Einige Bürger sehen die Seltsamkeiten des Mädchens und wollen unbedingt herausfinden, wer ihr Vater ist. Sie betrachten sie als teuflische Brut. Esther trennt sich nie von ihrer Tochter und nimmt sie überall mit. Eines Tages kommen sie zum Gouverneur, um ein Paar von ihm bestellte zeremoniell bestickte Handschuhe zurückzugeben. Der Gouverneur ist nicht zu Hause und sie warten im Garten auf ihn. Der Gouverneur kehrt mit den Priestern Wilson und Dimsdale zurück. Unterwegs sprachen sie davon, dass Pearl ein Kind der Sünde sei und sie von ihrer Mutter nehmen und in andere Hände übertragen sollte. Als sie dies Esther melden, stimmt sie nicht zu, ihre Tochter aufzugeben. Pastor Wilson beschließt herauszufinden, ob Esther sie im christlichen Geist großzieht. Pearl, die noch mehr weiß als in ihrem Alter sein soll, antwortet hartnäckig und beantwortet die Frage, wer sie erschaffen hat, dass niemand sie erschaffen hat, ihre Mutter hat sie gerade in einem Rosenbusch an der Tür des Gefängnisses gefunden. Fromme Herren sind entsetzt: Das Mädchen ist bereits drei Jahre alt und weiß nicht, wer sie geschaffen hat. Sie beschließen, Pearl von ihrer Mutter zu nehmen, und sie schafft es, ihre Tochter nur dank der Fürsprache von Pastor Dimsdale zu Hause zu halten.
Das Wissen über Medizin und Frömmigkeit hat den Respekt der Menschen in Boston für Chillingworth verdient. Bald nach seiner Ankunft wählte er Rev. Dimsdale zu seinem geistlichen Vater. Alle Gemeindemitglieder schätzten den jungen Theologen sehr und machten sich Sorgen um seine Gesundheit, die sich in den letzten Jahren stark verschlechtert hat. Die Leute sahen den Finger der Vorsehung bei ihrer Ankunft bei ihrem erfahrenen Arzt und bestanden darauf, dass Mr. Dimsdale sich an ihn wandte, um Hilfe zu erhalten. Infolgedessen freundeten sich der junge Priester und der alte Arzt an und ließen sich dann sogar zusammen nieder. Chillingworth, der sich daran machte, Esthers Geheimnisse mit der strengen Unparteilichkeit eines Richters zu untersuchen, fällt zunehmend unter die Macht eines einzigen Gefühls - Rache, die sein ganzes Leben unterwirft. Er spürt die feurige Natur des jungen Priesters und möchte in die verborgenen Tiefen seiner Seele eindringen, und das hört vor nichts auf. Chillingworth provoziert Dimsdale die ganze Zeit und erzählt ihm von reuelosen Sündern. Er behauptet, dass Dimsdales körperliche Krankheit auf einer geistigen Wunde beruht und überredet den Priester, ihm, dem Arzt, die Ursache seines emotionalen Leidens zu offenbaren. Dimsdale ruft aus: "Wer bist du, um <...> zwischen dem Leidenden und seinem Herrn zu stehen?" Aber einmal schläft ein junger Priester tagsüber auf einem Stuhl ein und wacht nicht auf, selbst wenn Chillingworth den Raum betritt. Der alte Mann kommt auf ihn zu, legt seine Hand auf seine Brust und öffnet die Kleidung, die Dimsdale in Gegenwart eines Arztes nie ausgezogen hat. Chillingworth triumphiert - "So verhält sich Satan, wenn er überzeugt ist, dass eine kostbare menschliche Seele für den Himmel verloren und für die Hölle gewonnen ist." Dimsdale fühlt sich Chillingworth gegenüber feindlich eingestellt und wirft ihr Vorwürfe vor, ohne einen Grund für sie zu finden, und Chillingworth - "eine elende, einsame Kreatur, die noch elender ist als sein Opfer" - versucht mit aller Kraft, Dimsdales geistige Qual zu verschlimmern.
Eines Nachts geht Dimsdale zum Marktplatz und steht am Pranger. Im Morgengrauen gehen Sie an Esther Prien und Pearl vorbei. Der Priester ruft zu ihnen, sie steigen auf die Plattform und stellen sich neben ihn. Pearl fragt Dimsdale, ob er morgen Nachmittag hier bei ihnen stehen wird, aber er antwortet, dass am Tag des Jüngsten Gerichts alle drei vor dem Thron des großen Richters stehen werden, aber jetzt ist nicht die Zeit und das Tageslicht sollte sie nicht drei sehen. Der dunkle Himmel leuchtet plötzlich auf - wahrscheinlich ist dies das Licht eines Meteors. Sie sehen nicht weit von der Plattform von Chillingworth, der sie untrennbar ansieht. Dimsdale erzählt Esther, dass er vor diesem Mann unbeschreiblichen Schrecken verspürt, aber Esther, gebunden an einen Eid, enthüllt ihm nicht die Geheimnisse von Chillingworth.
Jahre vergehen. Pearl ist sieben Jahre alt. Das perfekte Verhalten von Esther und ihre desinteressierte Hilfe für die Betroffenen führen dazu, dass die Einwohner der Stadt beginnen, sie mit einer Art Respekt zu behandeln. Selbst der scharlachrote Buchstabe scheint ihnen kein Symbol der Sünde, sondern der inneren Stärke zu sein. Einmal trifft Esther auf einem Spaziergang mit Pearl Chillingworth und ist erstaunt über die Veränderungen, die in den letzten Jahren in ihm stattgefunden haben. Das ruhige, weise Gesicht des Wissenschaftlers bekam einen räuberischen, grausamen Ausdruck, ein Lächeln sah ihn mit einer Grimasse an. Esther spricht zu ihm, dies ist ihr erstes Gespräch seit der Zeit, als er einen Eid von ihr ablegte, seinen richtigen Namen nicht preiszugeben. Esther bittet ihn, Dimsdale nicht zu foltern: Das Leiden, unter das Chillingworth ihn stellt, ist schlimmer als der Tod. Außerdem wird er von den Augen seines geschworenen Feindes gequält, ohne zu wissen, wer er ist. Esther fragt, warum Chillingworth sich nicht an ihr rächt. er antwortet, dass ein scharlachroter Brief ihn gerächt habe. Esther bittet Chillingworth, seine Meinung zu ändern, er kann immer noch gerettet werden, weil dieser Hass ihn von einer weisen, gerechten Person zum Teufel gemacht hat. Es liegt in seiner Macht zu vergeben, Vergebung von Menschen, die ihn beleidigt haben, wird sein Heil sein. Aber Chillingworth kann nicht vergeben, sein Schicksal ist Hass und Rache.
Esther beschließt, Dimsdale zu offenbaren, dass Chillingworth ihr Ehemann ist. Sie sucht ein Treffen mit dem Priester. Endlich trifft sie ihn im Wald. Dimsdale erzählt ihr, wie er unter der Tatsache leidet, dass jeder ihn für rein und makellos hält, während er sich mit Sünde befleckt hat. Er ist umgeben von Lügen, Leere, Tod. Esther enthüllt ihm, der sich unter dem Namen Chillingworth versteckt. Dimsdale ist wütend: Durch die Schuld von Esther legte er "seine schwache kriminelle Seele vor die Augen desjenigen, der sie heimlich verspottete". Aber er vergibt Esther. Beide glauben, dass die Sünde von Chillingworth noch schlimmer ist als ihre Sünde: Er griff in den Schrein des menschlichen Herzens ein. Sie verstehen - Chillingworth, der weiß, dass Esther Dimsdale sein Geheimnis enthüllen wird, erfindet neue Intrigen. Esther bietet Dimsdale an, zu rennen und ein neues Leben zu beginnen. Sie stimmt dem Skipper des Schiffes zu, das nach Bristol segelt, dass er zwei Erwachsene und ein Kind an Bord nehmen wird.
Das Schiff soll in drei Tagen segeln und am Vorabend von Dimsdale wird am Wahltag eine Predigt gehalten. Aber er spürt, wie sich seine Gedanken trüben. Chillingworth bietet ihm seine Hilfe an, aber Dimsdale lehnt ab. Die Leute versammeln sich auf dem Marktplatz, um Dimsdales Botschaft zu hören. Esther trifft einen Skipper eines Bristol-Schiffes in der Menge und teilt ihr mit, dass Chillingworth auch mit ihnen segeln wird. Sie sieht auf der anderen Seite des Chillingworth Square, die sie bedrohlich anlächelt. Dimsdale hält eine brillante Predigt. Die festliche Prozession beginnt, Dimsdale beschließt, den Menschen Buße zu tun. Chillingworth, der erkennt, dass dies die Qual des Leidenden lindern wird, und das Gefühl, dass das Opfer von ihm abrutscht, eilt zu ihm und bittet ihn, seine heilige Würde nicht zu beschämen. Dimsdale bittet Esther, ihm beim Aufstieg auf die Plattform zu helfen. Er steht am Pranger und bereut seine Sünde vor dem Volk. Abschließend reißt er den Priesterschal ab und legt seine Brust frei. Sein Blick verblasst, er stirbt, seine letzten Worte - Lob an den Allmächtigen. Verschiedene Gerüchte kriechen durch die Stadt: Einige sagen, dass sich auf der Brust des Priesters ein scharlachroter Brief befand - eine genaue Ähnlichkeit mit dem von Esther Prien. Andere behaupten im Gegenteil, die Brust des Priesters sei sauber gewesen, aber als er die Annäherung an den Tod spürte, wollte er den Geist in den Armen einer gefallenen Frau aufgeben, um der Welt zu zeigen, wie zweifelhaft die Gerechtigkeit der makellosesten Menschen ist.
Nach dem Tod von Dimsdale wurde Chillingworth, der den Sinn des Lebens verloren hatte, sofort altersschwach und seine geistige und körperliche Stärke verließ ihn sofort. Nicht einmal ein Jahr war vergangen, bevor er starb. Er vermachte sein ganzes großes Vermögen der kleinen Perle. Nach dem Tod des alten Arztes verschwanden Esther und ihre Tochter und die Geschichte von Esther wurde zur Legende. Viele Jahre später kehrte Esther zurück und setzte freiwillig wieder das Emblem der Schande auf. Sie lebt alleine in ihrem alten Haus am Stadtrand von Boston. Pearl, anscheinend glücklich verheiratet, erinnerte sich an ihre Mutter, schrieb ihr, schickte Geschenke und würde sich freuen, wenn Esther bei ihr lebte. Aber Esther wollte dort leben, wo ihre Sünde geschehen war - sie glaubte, dass auch dort Sühne geleistet werden sollte. Als sie starb, wurde sie neben Pastor Dimsdale begraben, aber zwischen den beiden Gräbern blieb eine Lücke, als hätte die Asche dieser beiden auch nach dem Tod kein Recht, sich zu vermischen.