Come dividere testo in blocchi senza separare emoji e accenti

Scegliere l’unità prima della dimensione

Un limite di cento caratteri può significare cose diverse secondo l’applicazione. Il contatore di Snipshed misura punti di codice; il divisore lavora con caratteri visivi o righe. Un carattere visivo può contenere più punti di codice e occupare più unità UTF-16. Byte e token di modelli linguistici sono altre misure ancora.

Controlla come conta la destinazione prima di usare blocchi per rispettare un limite. Cento caratteri visivi non garantiscono cento byte, unità UTF-16 o token. Se l’applicazione ricevente ha un contatore proprio, verifica lì il blocco finale. Non scegliere la dimensione soltanto dall’aspetto di una parola e conserva l’originale finché il testo desiderato non è stato accettato.

Non separare le componenti di un emoji

Nella modalità caratteri, il browser segmenta gruppi visivi completi. La sequenza donna, giuntore a larghezza zero e computer portatile forma 👩‍💻 e rimane unita. Anche una e seguita da U+0301 resta con il suo accento combinato, benché l’accento sia memorizzato come punto di codice separato. Le parole possono invece essere divise tra due blocchi.

La sequenza A👩‍💻éBC contiene cinque caratteri visivi, otto punti di codice e dieci unità UTF-16. Con dimensione due produce tre blocchi: A👩‍💻, éB e C. L’ultimo può essere più corto. L’ispettore Unicode mostra i componenti; non normalizza l’ingresso e non sostituisce automaticamente un accento combinato con un’altra rappresentazione.

1. Apri il campione Unicode e copialo senza aggiungere righe.
2. Incollalo in Dividere testo in blocchi.
3. Scegli caratteri visivi e dimensione 2.
4. Controlla i tre blocchi e l’emoji completo.

Interpretare la lista JSON scaricata

Il risultato è una lista JSON di stringhe, non più file indipendenti. Virgolette, virgole e parentesi quadre appartengono alla rappresentazione della lista. Le interruzioni di riga sono scritte come sequenze di escape nelle stringhe. Per incollare un blocco in un modulo usa il contenuto, senza virgolette o escape del documento JSON.

Per ricostruire l’ingresso della modalità caratteri, leggi la lista come JSON e concatena le stringhe senza separatore. Non sostituire tutte le barre inverse come testo semplice: alcune possono appartenere all’originale. Puoi esaminare la struttura con Formattare JSON. Conservare il file JSON mantiene i confini fra blocchi per verifiche o altre elaborazioni, mentre la concatenazione rimuove intenzionalmente tali confini.

[
  "A👩‍💻",
  "éB",
  "C"
]

Raggruppare righe e conservare quelle vuote

Nella modalità righe, dimensione due raggruppa due righe consecutive, incluse quelle vuote. Con A, una riga vuota, B e C, il primo blocco contiene A con un’interruzione finale; il secondo contiene B e C separate da un’interruzione. Una riga vuota non viene eliminata soltanto perché non contiene lettere.

Questa modalità normalizza CRLF e CR in LF. Per ricostruire il testo normalizzato, leggi le stringhe JSON e uniscile con un LF fra blocchi. I byte originali del file non sono conservati esattamente. Se un PDF ha introdotto interruzioni nel mezzo delle frasi, decidi prima se pulirle: raggruppare righe non ricostruisce automaticamente i paragrafi o l’impaginazione originale.

Verificare limiti e ricostruzione

L’ingresso ammette fino a 100000 unità UTF-16. La dimensione del blocco deve essere fra 1 e 10000 elementi e sono consentiti fino a 1000 blocchi. Se li superi, aumenta la dimensione o riduci l’ingresso. Passare alle righe può cambiare il risultato perché cambia l’unità contata.

Calcola, esamina primo blocco, un confine intermedio e ultimo blocco, poi scarica quando sei soddisfatto. Modificare testo o opzioni invalida il risultato precedente. Per un controllo completo dei caratteri confronta la ricostruzione con l’originale; per le righe confronta la versione normalizzata in LF. Conserva la fonte per recuperare codifica o interruzioni originali: la lista risultante non registra tali proprietà del file.