Text in Blöcke teilen, ohne Emojis und Akzente zu trennen

Die Einheit vor der Blockgröße wählen

Eine Grenze von hundert Zeichen kann je nach Anwendung unterschiedlich gemeint sein. Der Snipshed-Zähler misst Codepunkte; der Teiler verarbeitet sichtbare Zeichen oder Zeilen. Ein sichtbares Zeichen kann mehrere Codepunkte und UTF-16-Einheiten umfassen. Bytes und Sprachmodell-Token sind wiederum andere Maßeinheiten.

Prüfen Sie die Zählregel des Ziels, bevor Sie Blöcke für ein Größenlimit verwenden. Hundert sichtbare Zeichen garantieren keine hundert Bytes, UTF-16-Einheiten oder Token. Nutzen Sie vorhandene Zähler der Zielanwendung zur Kontrolle des endgültigen Blocks. Entscheiden Sie nicht allein nach der sichtbaren Wortlänge und bewahren Sie das Original auf, bis der beabsichtigte Text vom Ziel akzeptiert wurde.

Bestandteile eines Emojis zusammenhalten

Im Zeichenmodus segmentiert der Browser vollständige sichtbare Gruppen. Frau, breitenloses Verbindungszeichen und Laptop bilden die Folge 👩‍💻 und bleiben zusammen. Auch ein e mit anschließendem U+0301 behält seinen kombinierten Akzent, obwohl dieser als eigener Codepunkt gespeichert ist. Wörter selbst können zwischen zwei Blöcken geteilt werden.

Das Beispiel A👩‍💻éBC enthält fünf sichtbare Zeichen, acht Codepunkte und zehn UTF-16-Einheiten. Mit Blockgröße zwei entstehen A👩‍💻, éB und C. Der letzte Block darf kürzer sein. Der Unicode-Inspektor macht die Bestandteile sichtbar. Er normalisiert die Eingabe nicht und ersetzt eine Darstellung mit kombiniertem Akzent nicht automatisch durch eine andere Schreibweise.

1. Öffnen Sie das Unicode-Beispiel und kopieren Sie es ohne zusätzliche Zeilen.
2. Fügen Sie es in den Textteiler ein.
3. Wählen Sie sichtbare Zeichen und Blockgröße 2.
4. Prüfen Sie alle drei Blöcke und das vollständige Emoji.

Die heruntergeladene JSON-Liste lesen

Die Ausgabe ist eine JSON-Liste aus Zeichenfolgen, keine Sammlung einzelner Dateien. Anführungszeichen, Kommata und eckige Klammern gehören zur Darstellung der Liste. Zeilenumbrüche erscheinen als maskierte Folgen innerhalb der Zeichenfolgen. Verwenden Sie beim Einfügen eines Blocks in ein Formular dessen Inhalt, ohne Anführungszeichen oder Maskierungen des JSON-Dokuments.

Lesen Sie zur Rekonstruktion im Zeichenmodus die Liste als JSON und verketten Sie ihre Zeichenfolgen ohne Trennzeichen. Ersetzen Sie nicht sämtliche Rückstriche als einfachen Text: Manche können zum Original gehören. Der JSON-Formatierer hilft bei der Strukturprüfung. Die JSON-Datei bewahrt Blockgrenzen für spätere Kontrollen oder Verarbeitung; das Verketten entfernt diese Grenzen absichtlich. Wählen Sie die Darstellung entsprechend dem nächsten Arbeitsschritt.

[
  "A👩‍💻",
  "éB",
  "C"
]

Zeilen einschließlich Leerzeilen gruppieren

Im Zeilenmodus fasst Größe zwei je zwei aufeinanderfolgende Zeilen zusammen, auch leere. Bei A, einer Leerzeile, B und C enthält der erste Block A mit abschließendem Zeilenumbruch. Der zweite enthält B und C mit einem Umbruch dazwischen. Eine Leerzeile entfällt nicht, nur weil sie keine Buchstaben enthält.

Dieser Modus wandelt CRLF und CR in LF um. Lesen Sie zur Rekonstruktion die JSON-Zeichenfolgen und verbinden Sie die Blöcke mit jeweils einem LF. Die genauen Originalbytes werden nicht bewahrt. Entscheiden Sie bei aus PDF kopierten Texten mit Umbrüchen mitten im Satz zunächst über eine Bereinigung. Zeilen zu gruppieren stellt weder Absätze noch das ursprüngliche Seitenlayout automatisch wieder her.

Grenzen und Rekonstruktion prüfen

Die Eingabe erlaubt bis zu 100000 UTF-16-Einheiten. Eine Blockgröße liegt zwischen 1 und 10000 Elementen, höchstens 1000 Blöcke sind möglich. Erhöhen Sie bei Überschreitung die Größe oder verkleinern Sie die Eingabe. Ein Wechsel zu Zeilen kann das Ergebnis ändern, weil dabei eine andere Einheit gezählt wird.

Berechnen Sie, prüfen Sie ersten Block, eine mittlere Grenze und letzten Block und laden Sie anschließend herunter. Geänderter Text oder Optionen machen die vorherige Ausgabe ungültig. Vergleichen Sie im Zeichenmodus die Rekonstruktion mit dem Original, im Zeilenmodus mit der auf LF normalisierten Fassung. Bewahren Sie die Quelle für ursprüngliche Codierung und Umbrüche auf; die Ergebnisliste speichert diese Dateieigenschaften nicht.