Metaphor Tracer: A Theory-Informed Analysis of Hidden States
1 Hermeneutic AI. * Corresponding author: marc@hermeneutic.ai
Author contributions. Marc Heimann conceived and designed the study, developed its conceptual framework, implemented the full pipeline and analysis, and wrote the manuscript; he is responsible for the work as a whole and is the corresponding author. Roxana Assadi Moghaddam contributed to the conceptual framing and, as the annotating analyst, produced the psychoanalytic annotations of the clinical transcripts. Olga Brovkina served as the annotating scientist for the domain-table material, designed the table test, and provided app testing and feedback. Mark Pettifor designed the engineered texts and provided app testing and feedback. Lutz Götzmann contributed to the conceptual development and provided access to the patient data.
Abstract: What do a language model’s hidden states say about the organization of a single text? From one forward pass, without training, we score every token position on two properties. The aggregator measures whether the position consolidates the whole text into a stable configuration. The differentiator, whether other tokens are transiently carried into its subspace as the model reads: metaphor in its root sense, transport. Constants were frozen on one discovery text; every other is confirmatory.
The aggregator is not, in the classic sense, an information measure, nor a measure of salience. Across three unrelated models, as a signifier repeats, its surprisal and its attention drain while its aggregator score holds: the channel marks a token’s place in the text. That this tracks a reading rests on independent ground truth: an engineered register the aggregator follows across its boundaries (6/6 cells), and a psychoanalyst’s marking of clinical transcripts, fixed before the instrument existed, in 34/36 cells, with a graded increment above lexical controls and dissociations no type-level measure reproduces. A transfer test gives the result its shape: the model whose token structure travels with lexical type reads the singular discourse worst, and in a matched base/instruct pair tuning raises fidelity without moving type-transfer. Structural value is a property of a token’s place in this text, not of its vector alone: a relational rather than essentialist reading of hidden states, operationalizing theory that predated the instrument.
Introduction
One of the most basic concepts of the way the humanities study text is the understanding that a text’s individual meaning is inherent to it and only it. It is partially derived and certainly influenced by a preceding history, and it may even be understood by the consequences it produced, but fundamentally it is impossible to speak about, for example, Les Chants de Maldoror without approaching the inherent logic of this specific text. Consequently, every text is an individual one. Similarly, a large language model, reading a text, organizes it as such an individual geometry. Some positions come to anchor the whole, for example, a heading, a recurring name, a closing period that gathers a paragraph behind it, while others are merely passed through. This organization is not the model’s output and also not a decision to be explained as is common in explainable AI approaches; it is the specific and individual shape of a particular reading, laid down in the residual stream during a single forward pass. This individual reading, its geometry of internal references, can be made visible. We build a training-free instrument that reads that shape back out, and allows testing what it reads against what human experts independently mark.
The instrument did not come first. In prior theoretical work one of the authors argued, on the shared principles of Lacanian theory and transformer architecture, that the “understanding” a language model performs must have a describable structure: points that quilt a discourse and fix its meaning retroactively (the point de capiton, the master signifier), an engine of transport by which a term is carried into a region not its own (metaphor), and the patterned structure this engine operates on (metonymy, not operationalized here, as the basic idea of a signifier determined only by its position in relation to other signifiers is arguably already realized in vector embeddings, which possess no referent) (Heimann and Hübener 2024, further developed in Heimann and Hübener 2025 and Heimann 2026a–c). That argument had no measuring device; it was built on a classical philosophical method: the comparison of principles, architectural and mathematical. The present paper is a first operationalization of these insights: we construct the device, freeze it on a single discovery text before any confirmatory run, and ask whether the structures the theory named are present, replicable, and aligned with expert judgment. The theoretical claims of alignment are thus made falsifiable here, and, as we report, they survive contact with the geometry while acquiring precise mechanical content. What the pipeline tests is accordingly not a practical use but, first and foremost, an interpretation: the model read as a theory of language in the tradition of Freudian thought, with the geometry as the place where this reading becomes legible in form. This makes no claim about the correctness of the theory as such, but shows that it can inform varied forms of explainable-AI methods by binding them together into a coherent interpretation. Thus no new analysis primitive is introduced here; what is new is the composition, existing tools thought together as a method in which several inform each finding, and the object they are pointed at. In view of the existing, often implicit underpinnings of explainable-AI studies, this also presents a counter-reading, as this approach owes no fealty or loyalty to the analytic philosophy discourse dominant in computer science.
The instrument scores every token position on two mechanistically distinct properties: an aggregator that consolidates the text into a configuration around an anchor, and a differentiator that registers transport of other tokens into that anchor’s subspace, each read in two views of an anisotropic space (Methods). It reads at resolution rather than in aggregate: 13 carefully curated texts yield a diagnostic database of over 40 gigabytes, the raw float32 activation tensors and the per-anchor subspace geometry computed from them, so that each reading event is scanned along its whole spatial-depth trajectory instead of being averaged away over a corpus of low-resolution statistics.
The paper proceeds as follows. The theoretical framework places the reading beside hidden-state interpretability, and Methods define the anchor, the two channels, the two views and the frozen battery. Results run from engineered ground truth, where the construction is known (§1–§4), to two expert ground truths of different kinds: a psychoanalyst’s marking of clinical transcripts (§5) and a domain expert’s column declaration on execution traces (§7). Between them sits the transfer test that gives the result its shape (§6), and §8 collects the robustness checks. The Discussion takes up what the channels measure, what an expert annotation can and cannot certify, and what a single-annotator corpus of this size leaves open.
Contributions. (I) A complementary perspective in which existing hidden-state methods can be seen as analyzing one and the same object: the large language model as a theory of language in the tradition of Freudian thought. This makes prior theoretical claims testable against model internals. (II) A training-free, single-pass instrument that reads the relational structure of an individual text from hidden-state geometry, with two mechanistically distinct channels and two anisotropy views. (III) A frozen confirmatory battery over engineered and expert ground truth, with results reported as replication counts across modeltextview cells rather than per-cell significance. (IV) A first probe, to our knowledge, of model-internal structure against psychoanalytic expert annotation: one ground truth among several, single-annotator, and reported with the lexical controls it requires. (V) A relationality result: structural value is measurably less stable than the state it is read from, and, in the models that read the singular discourse best, does not transfer with lexical type, operationalizing a Saussurean/Lacanian anti-essentialism as a testable property of transformer representations. Throughout, we hold the work to rigor in both registers, continental-theoretic and mechanical, and mark for every finding which view and which channel carries it.
Theoretical Framework
A survey of neighboring literatures has, in this paper, an unusual second task, although one common to philosophical literature: it must explain a part of the methodology that method sections do not normally discuss. The main author of this paper is a philosopher, not a computer scientist, and what the paper offers is accordingly not primarily a measurement but a metric informed by theory, one that is found precisely because we are looking for the metaphoric in Lacan’s sense (below), and not for a property of words. The complementary perspective set out above follows from it: existing methods seen as analyzing one and the same object, the model read in the Freudian tradition. Despite published groundwork (Heimann and Hübener 2024, 2025; Heimann 2026a, 2026b, 2026c), the combination remains a highly unusual one, and it is what made the instrument buildable, letting the first author devise a pipeline that tests an interpretation rather than a practical use.
Concretely, the pipeline sits at the intersection of several literatures, none of which, to our knowledge, combines more than two of its defining features: training-free single-pass hidden-state geometry; per-text relational anchor structure rather than corpus aggregates; dual anisotropy views treated as complementary maps; two channels separating processing from final-state properties; a frozen confirmatory battery with engineered and expert ground-truth tiers; and validation against psychoanalytic expert annotation. Below we name the nearest neighbors and the distinctions that we introduce. The purpose of the survey, however, is integrative: read from the perspective above, these literatures (geometric, mechanistic, evaluative, clinical) are partial analyses of a common object, and what the paper contributes is the frame under which they become commensurable.
The closest methodological cousin studies the geometry of tokens in LLM internal representations, intrinsic dimension, neighborhood overlap, per-layer cosine over a large corpus, correlating geometry with token-prediction loss (Viswanathan et al. 2025). The analysed raw material is the same (per-token residual-stream geometry across depth); the question, however, is orthogonal, being corpus-level statistics predicting loss, with no anchor construction and no ground truth about the structure of an individual text. Layer-wise participation-ratio and effective-rank profiles likewise appear as global representation-quality diagnostics, not as per-anchor subspace measures. Also, a substantial literature documents attention sinks (Peng et al. 2026). SepLLM (Chen et al. 2024), for example, compresses a segment into a single separator token, establishing that a separator can carry its segment’s content well enough to substitute for it, which is the precondition for a delimiter to hold a pin function at all. It is not, however, the explanation of our pins: within the delimiter class the positions our aggregator ranks highest are, in the instruction-tuned models, the attention-poor ones (Results §8), so whatever makes delimiters preferential aggregation sites is not what selects which delimiter binds which segment. This work explains why delimiter anchors are available and how they can be used in practice; none of it reads them back as a map of a text’s structure, which is our object. In regard to the anisotropy mapping, Timkey and van Schijndel (2021) show that removing rogue high-variance dimensions aligns model similarity spaces better with human similarity judgments; related work finds outlier dimensions to be task- or knowledge-relevant (Rudman and Eickhoff 2023; Rudman et al. 2023). Consequently, the field’s standard move is to correct anisotropy. Our two-view design instead retains both geometries and treats their disagreement as signal, the boundary alignment that inverts between views, the complementary structure each carries. We find no precedent for this dual-view-as-dual-map use.
Central to the approach is the search for metaphoricity as Lacanian theory conceives it: metaphor as an operation that rips the signifier from its lexical linkages and reassociates it via identification (Lacan 1993, 218–19). We do find a substantial body of research on metaphors in LLMs. Supervised probing locates metaphoricity in the middle layers of pre-trained models against VUA-style word annotations, with cross-lingual transfer (Aghazadeh et al. 2022); more recent work identifies metaphor via prompting or fine-tuning (Fuoli et al. 2025). There is a notable discourse on metaphor as an instrument of jailbreaking and prompt efficiency (Kramer 2025; Yan et al. 2025). However, the linguistic understanding of this discourse is mostly that of a classification against word-level labels. Ours is unsupervised and geometric, and while it looks for operations of metaphoricity, it separates processing metaphoricity (transport in flight, the red channel) from final-state metaphoricity, a distinction the classification framing does not draw and one our correlational setup deliberately does not push beyond the processing side.
To test this not only against engineered texts but also against expert language users, our evaluation protocol, the rank AUC of channel values on expert-marked versus unmarked tokens, follows the plausibility tradition in XAI (Kazmierczak et al. 2024; Jahromi et al. 2024), which we cite as its home. However, the object differs categorically: there is no task and no classifier decision. The pipeline explains a reading, not a decision, and the ground truth is where an expert locates organizing structure, not which tokens justify a label. Downstream, the boundary test is a segmentation capability, adjacent to the TextTiling lineage and its sentence-embedding successors (Jia and Diaz-Rodriguez 2026; Solbiati et al. 2021). But segmentation is a consequence, not the object: none of these methods expose channels, views, anchors, or a processing/consolidation distinction, and none target the within-text organization the channels read. Lastly, work estimating clinical constructs from transcripts is uniformly output-based, prompted or fine-tuned scoring of content (Abdou et al. 2025). There is also a large corpus of literature applying psychological and psychoanalytic methods to large language models, which we ignore (e.g. Magee et al. 2023). The reason is simple: these are output-focused or remain at the level of theory, the latter including work that takes up our own earlier framework (Geal 2025, building on Heimann and Hübener 2024). None to our knowledge reads hidden-state geometry, and none is validated against psychoanalytic annotation of signifiers and ruptures.
Concurrent with our work, Gurnee et al. (2026) identify, with a causal corpus-averaged instrument (the Jacobian lens), a sparse set of verbalizable directions that behave like a global workspace. The instruments share nothing methodologically, and we develop the comparison, the structural convergences, the depth divergence, and the question of which vocabulary imports less, in the Discussion.
We claim priority for the perspective and for its operationalization: for the combination of the six features above and, specifically, for validation against psychoanalytic expert annotation, against the neighbors named here. We deliberately avoid any claim that no comparable explanation methods exist: the plausibility literature above is exactly comparable in protocol and differs in object rather than in kind. What we could find no neighbor for is the object itself: the model treated not as a tool whose outputs want explaining, but as a theory of language to be read.
Methods
Models and extraction
We analyze three causal transformer language models: microsoft/phi-4 (14B; 40 layers, d = 5120), Qwen/Qwen3-8B (8B; 36 layers, d = 4096), both instruction-tuned, and meta-llama/Llama-3.1-8B (8B; 32 layers, d = 4096), a base model with no instruction tuning. The set is chosen for diversity of architecture, tokenizer, and training regime; with three models we make no factorial claims about size or alignment, though we note where the base model diverges from the two tuned models.
A fourth run set enters as a matched-lineage follow-up: meta-llama/Llama-3.1-8B-Instruct, the instruction-tuned twin of the base model, over every corpus text, same pipeline, same frozen constants, same annotations. Its results are reported separately wherever they appear (Results §1, §3, §5 and §7) and are gathered in §6; they enter no pooled statistic or replication count. Its single purpose is to separate what instruction tuning changes from what the lineage fixes, which the three-model corpus cannot do on its own. The checkpoint is public and the battery released, so these follow-up numbers regenerate by the same procedure as the rest of the corpus, the same two model passes (state extraction; horizon logits) over the named checkpoint.
All analyses consume a single teacher-forced forward pass per text in float32, with no sampling; given model and text the procedure is deterministic. For a text of T tokens we retain the full hidden-state tensor , where is the residual-stream state of token t after transformer block . The embedding layer is excluded: = 1 denotes the first block’s output and = L the final layer. Each extraction records its provenance (model id and tensor shape, run_meta.json); run folders are keyed by text and model, and cached scan artifacts are refused when states have been re-extracted over them.
Token pool. All anchor statistics draw on a token pool that excludes special tokens (<|...) and bare tokenizer space-markers, but deliberately retains punctuation: delimiter tokens are documented aggregation sites in transformers, and excluding them would remove precisely the positions where segment-level binding is hypothesized to occur. (This choice is consequential: in phi-4 the top aggregator anchors are almost exclusively paragraph-final delimiters; see Results §3, and §8, where the pins dissociate from attention.) Excluded tokens enter no anchor statistic: both the member and non-member means of the differentiator (below) are taken over pool tokens only.
Anchor construction
Every scanned token position a is evaluated as a candidate anchor. For each dimension j we compute the median, over all pool tokens i a, of the growth of the elementwise product with the anchor between the first and final layer:
Sorting (a) in descending order, the anchor’s core subspace dims(a) is the smallest prefix of dimensions whose cumulative sum covers a fraction = 0.7 (mass_cut) of the positive mass . The restriction to positive mass is essential: the signed distribution is dominated by cancellation, and normalizing by the net total collapses the subspace degenerately (documented in the implementation, mass_cut_k). The subspace size k = |dims(a)| varies over orders of magnitude between anchors and between models (median k per text: single digits in Qwen3-8B, single digits to hundreds in phi-4, hundreds in the base model; heavy upper tail throughout) and is itself an informative statistic.
Depth recruitment and basins
At each layer , token i is recruited by anchor a when the cosine similarity between and , restricted to dims(a), reaches a threshold . The recruitment layer of i (recruited_layer) is the first such ; if the similarity later falls below threshold, the layer of loss is recorded (lost_layer).
The anchor’s basin is the ever-recruited set: every token that crossed the threshold at any depth, whether or not it remains above it at the final layer. This is a deliberate definition, not a convenience. Recruitment is typically a mid-depth event whose final-layer trace is partial. For strong aggregator anchors, basin membership saturates well before the final layer (mid-stack in some models, late-stack in others), while final-layer cosines settle far below threshold. The basin therefore describes what the model’s reading passes through, not the state it comes to rest in; the channels built on it (next subsection) inherit this processing character.

Figure 1 — anchor construction, on cached artifacts of one run (a top differentiator anchor and a top aggregator pin of the discovery text, phi-4). (a) The sorted positive interaction growth with the = 0.7 cut fixing the core subspace; (b) per-token cosine trajectories with the = 0.7 threshold, recruitment and loss marked; (c) the ever-recruited basin against currently-above-threshold membership per layer — the gap that gives the channels their processing character.
Two channels
Each anchor is scored on two mechanistically distinct properties, and both are properties of metaphoricity in the root sense of the word: metaphor, from µετα (μετá, `ὰςροςς, βεψονδ´´) + φερειν (πηéρειν, ``το ςαρρψ, βεαρ´´), τρανςπορτ, α τερμ ςαρριεδ ιντο α ρεγιον νοτ ιτς οων. Ονε ςηαννελ μαρϰς τηε τρανςπορτ ιν φλιγητ, τηε οτηερ ωηατ ιτ ςονςολιδατες ιντο.
Διφφερεντιατορ ςτρενγτη — α μαρϰ οφ προςεςςινγ μεταπηοριςιτψ (ρενδερεδ ρεδ). Φορ εερψ τοϰεν ποςιτιον ι λετ βε τηε φραςτιον οφ ιτς δεπτη-διςπλαςεμεντ ενεργψ φαλλινγ ινςιδε τηε ανςηορ´ς ςορε ςυβςπαςε (πυλλ_φρας):
Τηε πυλλ γαπ (πυλλ_φρας_γαπ) ις τηε μεαν οφ οερ βαςιν μεμβερς μινυς ιτς μεαν οερ νον-μεμβερς· διφφερεντιατορ ςτρενγτη ις μαξ(0, πυλλ γαπ) (ςελφ_πυλλ_φρας). Ωηερε τηε βαςιν ις εμπτψ ορ εξηαυςτς τηε ποολ τηε γαπ ις υνδεφινεδ ανδ τηε ςτρενγτη ις ςετ το ζερο, α τιε μαςς αςϰνοωλεδγεδ βψ τηε μιδρανϰ περςεντιλες υςεδ ωηερεερ ρεδ περςεντιλες αρε ρεπορτεδ. Ιτ ις ηιγη ωηεν τηε τοϰενς τηε ανςηορ εερ ρεςρυιτεδ μοεδ διςτινςτιελψ ιντο τηε ανςηορ´ς ςυβςπαςε, αν ανςηορ τηατ διιδες τηε τεξτ ιντο αν ινςιδε ανδ αν ουτςιδε δυρινγ προςεςςινγ. Βεςαυςε τηε βαςιν ις τηε εερ-ρεςρυιτεδ ςετ, τηις ςηαννελ δοες νοτ μεαςυρε α προπερτψ οφ τηε φιναλ ρεπρεςεντατιον: ιτ μαρϰς ποςιτιονς ατ ωηιςη δεπτη-τρανςιεντ αλιγνμεντ (μεταπηορις τρανςπορτ ιν φλιγητ) οςςυρρεδ ςομεωηερε ιν τηε μοδελ´ς ρεαδινγ. Ωε αςςορδινγλψ ιντερπρετ ρεδ ας μαρϰινγ προςεςςινγ μεταπηοριςιτψ: πυλλ_φρας μεαςυρες ηοω μυςη οφ α τοϰεν´ς ϑουρνεψ τηρουγη τηε ςταςϰ ωας ςπεντ μοινγ ιντο ςομεονε ελςε´ς τερριτορψ. Ωε δεφερ ςλαιμς αβουτ φιναλ-ςτατε μεταπηοριςιτψ το ιντερεντιονς ουτςιδε τηις παπερ´ς ςςοπε. Τηε χυαντιτψ ις αλςο ρελατιοναλ: ιτ δεπενδς ον τηε ωηολε τοϰεν ποολ, νοτ ον τηε ανςηορ αλονε.
Αγγρεγατορ ςτρενγτη — α μαρϰ οφ ςονςολιδατινγ μεταπηοριςιτψ (ρενδερεδ βλυε). Τηε ςηαννελ ις τηε παρτιςιπατιον ρατιο ()2/2 οφ τηε ςινγυλαρ αλυε�� οφ τηε φιναλ-λαψερ ςονφιγυρατιον οφ ποολ τοϰενς, ςεντερεδ οερ τοϰενς ανδ ρεςτριςτεδ το διμς(α), νορμαλιζεδ βψ τηε ηιδδεν διμενςιον δ (εφφεςτιε_ρανϰ, ςαπαςιτψ_ςηαρε). Ιτ ις ηιγη ωηεν τηε ανςηορ´ς ςυβςπαςε ςυππορτς α βροαδ, ηιγη-ρανϰ ςονφιγυρατιον οφ τηε ωηολε τεξτ· ιτ ις ρεαδ ας α ςονςολιδατιον ποιντ ρατηερ τηαν α διιδερ. ϒνλιϰε τηε ρεδ ςηαννελ, τηις ις α φιναλ-λαψερ προπερτψ. Τρανςπαρενςψ νοτε: αςροςς τεςτεδ τεξτς, ςαπαςιτψ_ςηαρε ις ςτρονγλψ ρανϰ-ςορρελατεδ ωιτη τηε ςυβςπαςε ςιζε ϰ (Σπεαρμαν 0.85–1.00 αςροςς ρυνς, μεδιαν 0.98, 0.99 ιν πηι-4)· ωηψ τηε ςηαννελ μεαςυρες οςςυπανςψ ρατηερ τηαν α βαρε διμενςιον ςουντ, δεςπιτε τηις ςουπλινγ, ις τρεατεδ ιν τηε Λιμιτατιονς.
Φορ ιςυαλιζατιον, εαςη ςηαννελ ις ςοντραςτ-νορμαλιζεδ ωιτηιν τηε ςςαννεδ τοϰενς οφ ονε ρυν (μεδιαν 0, 95τη περςεντιλε 1, ςλιππεδ)· ραω αλυες αρε ρεταινεδ ιν αλλ ουτπυτς. Στρονγ ανςηορς αρε τηε υνιον οφ τηε τοπ δεςιλε οφ εαςη ςηαννελ (ΣΤΡΟΝΓ_ΧϒΑΝΤΙΛΕ = 0.90). Νορμαλιζατιον ςςοπε νεερ εξςεεδς τηε ςςοπε οφ τηε χυεςτιον: ωιτηιν-τεξτ φορ ςινγλε-τεξτ μαπς, ποολεδ αςροςς αριαντς ονλψ ωηερε τηε χυεςτιον ις ιτςελφ ςομπαρατιε (προμπτ ςομπαριςον), ανδ νεερ αςροςς μοδελς.
Τωο ιεως: οπερατιε ανδ ςυβςτρατε-παρτιαλλεδ
Τρανςφορμερ ρεςιδυαλ ςτρεαμς αρε ςτρονγλψ ανιςοτροπις: α ςμαλλ ςετ οφ ηιγη-αριανςε διμενςιονς δομινατες ιννερ προδυςτς ανδ ις ςηαρεδ αςροςς τηε ωηολε τεξτ. Τηεςε διμενςιονς αρε νοτ νοιςε (τηε μοδελ´ς αττεντιον αριτημετις ρυνς ον τηεμ), ςο ωε αναλψζε τωο ιεως ανδ τρεατ τηειρ διςαγρεεμεντ ας ινφορματιε:
-
1.
Οπερατιε ιεω. Ραω ςτατες· φιξεδ = 0.7 ατ εερψ λαψερ. Τηε γεομετρψ ιν ωηιςη τηε μοδελ αςτυαλλψ ςομπυτες.
-
2.
Χυιετ-διμενςιονς ιεω. Εερψ διμενςιον ζ-ςςορεδ περ λαψερ οερ τηε τεξτ´ς τοϰενς βεφορε ςςαννινγ· ςετ περ λαψερ ατ τηε 95τη περςεντιλε οφ τηατ λαψερ´ς ςοςινε διςτριβυτιον (φιξεδ τηρεςηολδς αρε ςαλιβρατεδ το τηε ανιςοτροπις ραω ςπαςε ανδ δο νοτ τρανςφερ). Τηις παρτιαλς ουτ τηε δομιναντ-αριανςε ςυβςτρατε ανδ εξποςες ςτρυςτυρε ιν λοω-αριανςε διμενςιονς.
Τηε ιεως διςςοςιατε ςτρονγλψ ανδ ςονςιςτεντλψ: ον ενγινεερεδ τεξτς τηε αγγρεγατορ ςηαννελ´ς βουνδαρψ αλιγνμεντ ινερτς βετωεεν ιεως, ανδ περ-ανςηορ αλυες δεςορρελατε (Ρεςυλτς). Ωε ρεπορτ φορ εερψ φινδινγ ωηιςη ιεω ςαρριες ιτ.
Διρεςτιοναλ ςπλιτ οφ ανςηορ γροωτη
Βεςαυςε τηε μοδελ ις ςαυςαλλψ μαςϰεδ, τοϰενς βεφορε αν ανςηορ ςαννοτ ηαε βεεν ινφλυενςεδ βψ ιτ. Φορ εαςη ανςηορ ωε τηερεφορε ςπλιτ (α), ρεςτριςτεδ το διμς(α), ιντο περ-διμ μεδιανς ποολεδ οερ τοϰενς βεφορε ς. αφτερ τηε ανςηορ ποςιτιον, ρεπορτινγ εαςη ςιδε´ς ποςιτιε μαςς ανδ τηειρ ρατιο (δελτα_βεφορε_μαςς, δελτα_αφτερ_μαςς, βεφορε_ςηαρε· ςιδες ωιτη φεωερ τηαν 8 ποολ τοϰενς ψιελδ ΝαΝ). Βεφορε-μαςς ρεαδς υναμβιγυουςλψ ας τηε ανςηορ αλιγνινγ το (αβςορβινγ) ιτς παςτ· αφτερ-μαςς ις α ςανδιδατε φορ φορωαρδ τρανςμιςςιον ανδ ρεμαινς ςορρελατιοναλ. Ωε νοτε α μεαςυρεδ λιμιτατιον: τηε περ-διμ μεδιαν ις α ςτατιςτις οφ τηε τψπιςαλ τοϰεν, ωηιςη ις ςυβςτρατε-δομινατεδ ανδ ςιδε-ιναριαντ, ςο τηις ςπλιτ ις α ςοαρςε ινςτρυμεντ· τηε τοϰεν-ρεςολεδ βινδινγ τεςτ οφ τηε βαττερψ (παραγραπη βινδινγ, βελοω) ις τηε ςενςιτιε ονε.
Προφιλες
῝ονςολιδατιον προφιλε. Τηε ρολλινγ δενςιτψ (ςεντερεδ ωινδοω ω = μαξ(20, Τ/15)) οφ ςτρονγ ανςηορς αςροςς τοϰεν ποςιτιον. Λοω δενςιτψ: τοϰεν μοεμεντ ις αβςορβεδ βψ εςταβλιςηεδ ςτρυςτυρε· ηιγη δενςιτψ: τηε τεξτ ις ςτιλλ ερεςτινγ οργανιζινγ ποιντς.
Ηοριζον προφιλε. Τηε Σηαννον εντροπψ οφ τηε φυλλ νεξτ-τοϰεν διςτριβυτιον ατ εαςη ποςιτιον. Τηις ρεχυιρες λογιτς, ωηιςη τηε ςτατε εξτραςτιον (α βαρε ενςοδερ παςς) δοες νοτ προδυςε· εντροπιες ςομε φρομ α ςεςονδ δετερμινιςτις τεαςηερ-φορςεδ παςς τηρουγη τηε ςαμε μοδελ ωιτη ιτς ΛΜ ηεαδ, οερ τηε ιδεντιςαλ τοϰεν ςεχυενςε ρεςονςτρυςτεδ φρομ τηε ςτορεδ τοϰενς· ποςιτιονς τηερεφορε αλιγν ωιτη τηε ςςαν εξαςτλψ, ανδ α οςαβυλαρψ ςηεςϰ ρεφυςες τοϰεν ςεχυενςες φρομ α διφφερεντ μοδελ. Τηε ςαμε παςς ψιελδς τηε περ-ποςιτιον ςυρπριςαλ οφ τηε ρεαλιζεδ τοϰεν, (ΝαΝ ατ τηε υνςονδιτιονεδ φιρςτ ποςιτιον).
Νοελτψ βαςελινε. Α ςριτιςαλ ρεαδινγ ςουλδ ηολδ τηατ ανςηορ ςηαννελς μερελψ τραςϰ ηοω διφφιςυλτ τηε τεξτ ις. Ωηερεερ α ηοριζον προφιλε εξιςτς, τηε βαττερψ τηερεφορε ρεπορτς τηε τοϰεν-λεελ Σπεαρμαν ςορρελατιον οφ εαςη ςηαννελ´ς ραω αλυες αγαινςτ ηοριζον εντροπψ ανδ αγαινςτ ρεαλιζεδ ςυρπριςαλ, περ ιεω· τηε ουτςομε (τηε ςηαννελς αρε νοτ ρεδυςιβλε το ειτηερ) ις ρεπορτεδ ιν Ρεςυλτς §8.
Μυνδανε βαςελινες. Α ςεςονδ ςριτιςαλ ρεαδινγ ςουλδ ηολδ τηατ τηε αναλψςτ´ς μαρϰς αρε ρεςοεραβλε φρομ α ωορδ λιςτ. Ον τηε ςλινιςαλ τιερ τηε βαττερψ τηερεφορε ςςορες ςτατις λεξιςαλ πρεδιςτορς ον τηε ςαμε μαρϰεδ/υνμαρϰεδ ςπλιτ ανδ τηε ςαμε ρανϰ ςτατιςτις: ινερςε ςορπυς φρεχυενςψ (Ζιπφ, ωορδφρεχ), ωορδ λενγτη, ςοντεντ-ωορδ μεμβερςηιπ, τερμ φρεχυενςψ ανδ ΤΦ-ΙΔΦ, ωορδ-λεελ ςυρπριςαλ, πρεδιςτιε εντροπψ, ανδ αν υνφιττεδ ρανϰ-ςομβινατιον οφ ςοντεντ, ραριτψ ανδ ςυρπριςαλ. Νονε ηας α φιττεδ παραμετερ· ωορδ-λεελ φεατυρες προϑεςτ οντο τοϰενς βψ τηε ςαμε ςπαν-οερλαπ ρυλε τηε μαρϰς υςε, ανδ νον-ωορδ τοϰενς ρεςειε εαςη φεατυρε´ς λεαςτ μαρϰ-πρεδιςτιε αλυε, ςο τηε προϑεςτιον ςαννοτ μανυφαςτυρε ςεπαρατιον. Τηε αγγρεγατορ ις τηεν ρεςςορεδ ωιτηιν ςοντεντ ωορδς, ωηερε τηε ςοντεντ/φυνςτιον ςομποςιτιον ις ςονςταντ βψ ςονςτρυςτιον, ανδ ρανϰ-ρεςιδυαλιζεδ ον ωορδ-λεελ ςυρπριςαλ ανδ ραριτψ. Ιτς ςουπλινγ το τηοςε ςοαριατες ις μεαςυρεδ ςεπαρατελψ, οερ αλλ ςςαννεδ τοϰενς ανδ ωιτηουτ τηε αννοτατιον εντερινγ, ας τηε ςηαρε οφ ιτς ρανϰ αριανςε τηεψ εξπλαιν. Τωο ωιτηιν-τρανςςριπτ νυλλς ςαλιβρατε τηε ρεμαινδερ, 10,000 ςεεδεδ δραως εαςη: α βλοςϰ νυλλ ρε-πλαςινγ α τρανςςριπτ´ς μαρϰεδ τοϰεν βλοςϰς ατ ρανδομ, ςουντ ανδ λενγτης πρεςερεδ, ανδ α ραριτψ-ματςηεδ νυλλ δραωινγ τοϰεν ςετς το ματςη τηε μαρϰς´ ωιτηιν-ρυν ραριτψ-δεςιλε ηιςτογραμ. Τηε ςαμε πρεδιςτορς αρε ςςορεδ ον τηε τωο ρεγιον γρουνδς βψ τηε ρανϰινγ τηειρ ςηαννελ ρεςυλτς υςε (βαςελινε_αυςς.πψ, βαςελινε_ρεγιονς.πψ· Ρεςυλτς §4, §5).
Αττεντιον-ςαλιενςψ παςς. Α ποςτ-ηος ςοντρολ ον τηε ςλινιςαλ τιερ (Ρεςυλτς §8) ςςορες τηε ςτανδαρδ μοδελ-ιντερναλ ςαλιενςψ ρεαδινγ ον τηε ςαμε μαρϰεδ/υνμαρϰεδ ςπλιτ: περ-τοϰεν αττεντιον ρεςειεδ (ηεαδ- ανδ λαψερ-αεραγεδ ςολυμν μαςς) ανδ αττεντιον ρολλουτ (Αβναρ ανδ Ζυιδεμα 2020· περ λαψερ τηε ηεαδ-μεαν ματριξ μιξεδ ωιτη τηε ρεςιδυαλ πατη, 0.5Ā + 0.5Ι, ςομποςεδ βοττομ-υπ), τογετηερ ωιτη τηε φιναλ ποςιτιον´ς ρολλουτ ροω. Ωειγητς ςομε φρομ α τηιρδ τεαςηερ-φορςεδ παςς οερ τηε ιδεντιςαλ ρεςονςτρυςτεδ τοϰεν ςεχυενςε, ωιτη τηε ςαμε ποςιτιον αλιγνμεντ ανδ οςαβυλαρψ ςηεςϰ ας τηε ηοριζον παςς. Τωο ρυλες ωερε φιξεδ βεφορε ανψ αλυε ωας ςομπυτεδ: εερψ ρεςειεδ-μαςς μεαςυρε ις διιδεδ βψ τηε τοϰεν´ς νυμβερ οφ αττενδινγ χυεριες, ςινςε υνδερ α ςαυςαλ μαςϰ εαρλψ ποςιτιονς αςςυμυλατε μαςς μεςηανιςαλλψ· ανδ εαςη μεαςυρε ις αλςο ςςορεδ ωιτηιν ςοντεντ ωορδς ανδ ρεςιδυαλιζεδ ον τηε λεξιςαλ ςοαριατες, τηε ςαμε ρεςτριςτιονς τηε αγγρεγατορ ςηαννελ ρεςειες. Τηις παςς αλονε ρυνς ιν βφλοατ16 ωιτη εαγερ αττεντιον (τηε φυλλ αττεντιον τενςορ δοες νοτ φιτ βεςιδε φλοατ32 ωειγητς)· ιτ φεεδς ονλψ ρανϰ ςτατιςτιςς, ανδ νο φροζεν βαττερψ νυμβερ δεπενδς ον ιτ (αττεντιον_ςαλιενςψ.πψ· ςαλιενςψ προφιλες ιν α παραλλελ ουτπυτ τρεε, τηε φροζεν ρυν διρεςτοριες υντουςηεδ).
Μινιμαλ-παιρ (Α/Β) προτοςολ
Φορ τεξτ παιρς διφφερινγ βψ ονε ςοντιγυους ινςερτεδ παςςαγε (δεςλαρεδ ιν τηε μανιφεςτ ωιτη τηε παςςαγε´ς φιρςτ ανδ λαςτ ςεντενςε ας μαρϰερς), τηε εδιτ´ς ςοντρολλεδ ςηαπε μαϰες αλιγνμεντ εξαςτ: ςηαρεδ πρεφιξ ανδ ςηαρεδ ςυφφιξ ςορρεςπονδ ςηαραςτερ-φορ-ςηαραςτερ, ςο νο ςεχυενςε αλιγνμεντ ις νεεδεδ· τοϰενς τηατ ΒΠΕ μεργες διφφερεντλψ ατ τηε ϑυνςτιονς ςιμπλψ φαιλ τηε ςορρεςπονδενςε ανδ αρε δροππεδ. Τηρεε μεαςυρεμεντς φολλοω (μινιμαλ_παιρ.πψ· ςτατε-λεελ ρεςυλτς αρε ςαςηεδ περ παιρ ανδ ιναλιδατεδ ωηεν ειτηερ ρυν ις ρε-εξτραςτεδ):
Πρεφιξ ιδεντιτψ φλοορ. Πρεφιξ τοϰενς αρε εριφιεδ ςτρινγ-ιδεντιςαλ, ανδ τηε φιναλ-λαψερ ςοςινε βετωεεν τηε τωο ρυνς´ πρεφιξ ςτατες ις ρεπορτεδ (μινιμυμ οερ τοϰενς). ῝αυςαλ μαςϰινγ πρεδιςτς εξαςτ ιδεντιτψ· τηε οβςερεδ φλοορ (1.0 ιν φλοατ32 αςροςς αλλ μοδελς) ςαλιβρατες εερψ οτηερ ςιμιλαριτψ ιν τηε προτοςολ.
Συφφιξ διεργενςε. Τηε ςηαρεδ ςυφφιξ ις ιδεντιςαλ ωορδινγ ρεαδ αφτερ διφφερεντ παςτς. Ωε ρεπορτ περ-τοϰεν φιναλ-λαψερ ςοςινε βετωεεν ερςιονς ας α φυνςτιον οφ διςτανςε φρομ τηε εδιτ (μεδιαν οερ τηε φιρςτ ανδ λαςτ 20 αλιγνεδ τοϰενς), ανδ αλονγςιδε ιτ ςηαννελ ςταβιλιτψ: τηε Σπεαρμαν ρανϰ ςορρελατιον οφ εαςη ςηαννελ´ς ραω αλυες οερ αλιγνεδ ςυφφιξ τοϰενς. Τηε ςηαννελς αρε ρελατιοναλ τεξτ-λεελ μεαςυρες (βαςινς, ςυβςπαςες, ανδ χυαντιλες αρε ςομπυτεδ αγαινςτ τηε ωηολε τοϰεν ποολ), ςο τηειρ ςταβιλιτψ ςαν φαλλ βελοω τηατ οφ τηε ςτατες τηεψ αρε ρεαδ φρομ· τηε ουτςομε (Ρεςυλτς §4) χυαντιφιες τηις δεςιγνεδ ςοντεξτ-ςενςιτιιτψ, ανδ φινδινγς αρε αςςορδινγλψ ςλαιμεδ ατ τηε λεελ οφ ωιτηιν-τεξτ ςτρυςτυρε, νεερ ας τοϰεν-λοςαλ αβςολυτε αλυες.
Θυνςτιον ςπεςιφιςιτψ. Τηε εδιτ ρεγιον´ς ςτρονγ-ανςηορ δενςιτψ ρατιος ιν τηε εδιτεδ τεξτ αρε ςομπαρεδ ωιτη α τοϰεν-ςουντ-ματςηεδ ωινδοω ατ τηε βαςε τεξτ´ς ϑυνςτιον. Α ςιγνατυρε τηατ αππεαρς ιν τηε εδιτ ρεγιον βυτ νοτ ατ τηε ματςηεδ ϑυνςτιον βελονγς το τηε ςοντεντ οφ τηε παςςαγε, νοτ το ιτς ποςιτιον ιν τηε δοςυμεντ.
῝ορπυς δεςιγν ανδ τηε φροζεν τεςτ βαττερψ
Τηε ςορπυς ηας τωο τιερς οφ γρουνδ τρυτη. Τιερ 1 — ενγινεερεδ τεξτς: τηε βουνδαρψ βετωεεν ςτρυςτυραλ παρτς ις ϰνοων το τηε ςηαραςτερ φρομ τηε ςονςτρυςτιον ρεςιπε· βουνδαρψ μαρϰερς ανδ πρε-ρεγιςτερεδ διρεςτιοναλ πρεδιςτιονς αρε φιξεδ ιν α μανιφεςτ (βαττερψ_μανιφεςτ.ϑςον) βεφορε ςονφιρματορψ ρυνς. Τιερ 2 — εξπερτ-αννοτατεδ τεξτς, οφ τωο μετηοδολογιςαλλψ διςτινςτ ϰινδς τηατ ωε ϰεεπ ςεπαρατε τηρουγηουτ ανδ νεερ ποολ ιντο α ςινγλε ςτατιςτις, βεςαυςε τηεψ τεςτ διφφερεντ ςομπετενςες. (ι) Λινγυιςτις αννοτατιον: φουρ ςλινιςαλ τρανςςριπτς ον ωηιςη α πςψςηοαναλψςτ μαρϰς διςςουρςε-ρελεαντ ςιγνιφιερς ανδ ρυπτυρε ρεγιονς, α γρουνδ τρυτη αβουτ λινγυιςτις ανδ διςςουρςε οργανιζατιον, ςςορεδ τηρεςηολδ-φρεε ας τηε ρανϰ Αϒ῝ οφ ςηαννελ αλυες ον μαρϰεδ ς. υνμαρϰεδ τοϰενς (ορδερεδ-φλοω τερμ ματςηινγ). (ιι) Στρυςτυραλ/δατα αννοτατιον: φουρ πιπελινε εξεςυτιον τραςες (ταβυλαρ ρεςορδς) φορ ωηιςη α δομαιν εξπερτ δεςλαρες τηε ςολυμνς α δομαιν ρεαδερ ςονςυλτς, α γρουνδ τρυτη αβουτ ςτρυςτυραλ/δατα οργανιζατιον, νοτ αβουτ λινγυιςτις υνδερςτανδινγ ιν α διρεςτ ςενςε. Βεςαυςε τηε μαρϰ ις α ωηολε ςολυμν ρατηερ τηαν α τερμ λιςτ, ιτ ις ςςορεδ περ ςολυμν: τηε ποολεδ μαρϰεδ-ς-υνμαρϰεδ Αϒ῝ ις υνινφορματιε ηερε, ςινςε τηε ιντερεςτ ςετ ςπανς ρουγηλψ ηαλφ τηε τοϰενς ανδ ις δομινατεδ βψ ονε λαργε φιελδ. Βοτη ϰινδς αρε φιξεδ βεφορε ανψ μοδελ ουτπυτ ις ςεεν· τηε ςλινιςαλ αννοτατιονς πρεδατε τηε ινςτρυμεντ ιτςελφ βψ ρουγηλψ τηρεε χυαρτερς οφ α ψεαρ, ανδ τηειρ δελιερψ ις δοςυμεντεδ. Αγρεεμεντ ςτατιςτιςς αρε μεανινγφυλ φορ τηε ςτρυςτυραλ τιερ, ωηερε μαρϰινγ α ςολυμν ις α ςλαςςιφιςατιον· φορ τηε ςλινιςαλ τιερ ωε αργυε τηατ ιντερ-αννοτατορ αγρεεμεντ ωουλδ μιςς τηε οβϑεςτ, ανδ αλιδατιον ις περ ρεαδινγ (Διςςυςςιον, ``Γρουνδ τρυτη ωιτηουτ αγρεεμεντ´´).
Ονε τεξτ (ΩΦΑ Τεξτ 1) ςερεδ ας τηε διςςοερψ τεξτ: εερψ τεςτ βελοω ωας δεελοπεδ ανδ ιτς ςονςταντς φιξεδ τηερε. Αλλ οτηερ τεξτς αρε ςονφιρματορψ· ςονςταντς αρε νοτ ρετυνεδ περ τεξτ, ανδ ρεςυλτς αρε ρεπορτεδ ας ρεπλιςατιον ςουντς αςροςς τεξτ μοδελ ιεω ςελλς ρατηερ τηαν ας περ-ςελλ ςιγνιφιςανςε. Τηε βαττερψ (ςομπαρε_ρυνς.πψ, ρυν οερ εερψ ςομπλετεδ εξτραςτιον) ςομπριςες:
-
1.
Βουνδαρψ τεςτ. Στρονγ-ανςηορ δενςιτψ περ ςηαννελ βεφορε ς. αφτερ τηε ενγινεερεδ βουνδαρψ· ρεπορτεδ ας τηε δενςιτψ ρατιο αγαινςτ τηε μανιφεςτ´ς πρε-ρεγιςτερεδ διρεςτιον. Βοτη ιεως.
-
2.
Τωο-ιεω ςορρελατιον. Σπεαρμαν ςορρελατιον οφ εαςη ςηαννελ´ς ραω αλυες βετωεεν τηε οπερατιε ανδ χυιετ ιεω.
-
3.
Πιν ιδεντιτψ. ῝λαςςιφιςατιον οφ τηε τοπ-δεςιλε αγγρεγατορ ανςηορς ιντο δελιμιτερ (νο αλπηανυμερις ςοντεντ), ρεςυρρινγ λεξεμε (νορμαλιζεδ τοϰεν τεξτ οςςυρρινγ 5 τιμες ιν τηε τεξτ), ορ οτηερ.
-
4.
Παραγραπη-βινδινγ τεςτ. Αγγρεγατορ-ςτρονγ ανςηορς οερλαππινγ α παραγραπη´ς ςλοςινγ ςηαραςτερς (ιδεντιφιεδ ιν τηε οπερατιε ιεω) αρε τεςτεδ φορ ωηετηερ τηεψ βινδ τηειρ οων πρεςεδινγ παραγραπη: τηε μεαν φιναλ-λαψερ ςοςινε (ιν τηε ανςηορ´ς ςυβςπαςε) οφ ιν-παραγραπη τοϰενς μινυς τηατ οφ αλλ οτηερ τοϰενς, περ πιν· αν εξαςτ τωο-ςιδεδ ςιγν τεςτ αγγρεγατες οερ πινς. Εαλυατεδ ιν βοτη ιεως. Παραγραπης ςοντριβυτε ονλψ ωιτη 5 πρεςεδινγ ποολ τοϰενς.
-
5.
Μινιμαλ παιρς. Τηε φυλλ Α/Β προτοςολ αβοε, ρυν φορ εερψ μανιφεςτ-δεςλαρεδ παιρ ωηοςε τωο ρυνς αρε ςομπλετε φορ α μοδελ.
-
6.
Τιερ-2 αννοτατιον ςςορινγ. Φορ τεξτς ωιτη αν εξπερτ αννοτατιον φιλε (αννοτατιονς/<τεξτ>.ϑςον· τερμς λιςτεδ ιν ορδερ οφ αππεαρανςε ανδ ματςηεδ ςεχυεντιαλλψ, ςο ρεπεατεδ ωορδς ρεςολε το τηε οςςυρρενςε τηε εξπερτ μαρϰεδ· διςρυπτιον παςςαγες ας ςταρτ/ενδ μαρϰερς): τηε ρανϰ Αϒ῝ οφ εαςη ςηαννελ´ς ραω αλυες ον αννοτατεδ ς. υναννοτατεδ τοϰενς, περ ιεω, ανδ ςτρονγ-ανςηορ δενςιτψ ρατιος ινςιδε εαςη διςρυπτιον ρεγιον. Αννοτατιον φιλες ρεςορδ αννοτατορ προενανςε ανδ αρε φιξεδ βεφορε ςςορινγ· ιτεμς ουτςιδε τηε αναλψζεδ εξςερπτ αρε ρεπορτεδ ανδ ςϰιππεδ. Τηις φροζεν τεςτ ςοερς τηε λινγυιςτις αννοτατιον τψπε (Τιερ 2 ι). Τηε ςτρυςτυραλ/ςολυμν τψπε (Τιερ 2 ιι) ςαρριες α διφφερεντ γρουνδ-τρυτη ςηαπε ανδ ις ςςορεδ βψ αν αυξιλιαρψ περ-ςολυμν Αϒ῝ οερ τηε ςαμε ραω ςηαννελ αλυες, ρεπορτεδ ιν Ρεςυλτς §7, νοτ ας α φροζεν βαττερψ ςελλ.
-
7.
Τψπε-εςςενςε τρανςφερ. Φορ εερψ παιρ οφ τεξτς αναλψζεδ ωιτη τηε ςαμε μοδελ (μανιφεςτ-δεςλαρεδ μινιμαλ παιρς εξςλυδεδ), ωορδ τψπες πρεςεντ ιν βοτη τεξτς αρε αυτο-διςςοερεδ (αλπηαβετις, 5 ςηαραςτερς, τοπ 30 βψ μινιμυμ ςροςς-τεξτ φρεχυενςψ, 6 οςςυρρενςες περ τεξτ). Εαςη τψπε´ς ςροςς-τεξτ ανςηορ παιρς αρε ςςορεδ βψ ςορε-ςυβςπαςε οερλαπ (|ΑΒ| / μιν(|Α|, |Β|)) αγαινςτ α ςεεδεδ ρανδομ ςροςς-τεξτ ανςηορ βαςελινε οφ 150 παιρς· τηε βαςελινε μεαςυρες τηε τραινεδ ςςαφφολδ τηατ ανψ τωο ανςηορς ςηαρε. Βεςαυςε τηε ραω ςοεφφιςιεντ ςατυρατες ωηερε τηε ςυβςτρατε δομινατες, τηε ςαμε ςομπαριςον ις ρεπεατεδ ον ιδιοςψνςρατις ςυβςπαςες (εαςη τεξτ´ς διμς υςεδ βψ > 50% οφ ιτς ανςηορς ρεμοεδ). Σαμε-τψπε τρανςφερ ατ τηε βαςελινε περςεντιλε μεανς τηε τψπε ςαρριες νοτηινγ βεψονδ τηε ςςαφφολδ: τηε ςτρυςτυρε τηε ςηαννελς ρεαδ ις α προπερτψ οφ τηε ινδιιδυαλ τεξτ, ανδ ποολινγ αςροςς τεξτς βψ λεξιςαλ τψπε ωουλδ αεραγε αωαψ πρεςιςελψ τηε οβϑεςτ οφ ςτυδψ. Α ςςοπε ςονδιτιον φολλοως φρομ ςορπυς ςομποςιτιον: ςηαρεδ τψπες οςςυρ αλμοςτ εξςλυςιελψ ωιτηιν ρεγιςτερ βλοςϰς (ονε ρεςιδυαλ ςροςς-ρεγιςτερ παιρ ςοντριβυτες 2 οφ τηε 391 τψπες περ μοδελ), ςο τηε ρεπορτεδ τρανςφερ ις ωιτηιν-ρεγιςτερ τρανςφερ, τηε ςαςε μοςτ φαοραβλε το α τψπε εςςενςε· ςροςς-ρεγιςτερ τρανςφερ ις υντεςτεδ (ςεε Λιμιτατιονς).
Ρεπροδυςιβιλιτψ
Αλλ ςοδε ις πυβλις ιν τηε ηττπς://γιτηυβ.ςομ/ΗερμενευτιςΑΙ/ΜεταπηορΤραςερ ρεποςιτορψ. Εερψ αναλψςις βεψονδ τηε τωο μοδελ παςςες (ςτατε εξτραςτιον· ηοριζον λογιτς) ςονςυμες ςαςηεδ αρτιφαςτς ανδ ις δετερμινιςτις ανδ ρε-ρυνναβλε ιν μινυτες ον ῝Πϒ. Αλλ περ-τεξτ φιγυρες ρεγενερατε φρομ τηε ρελεαςεδ τεξτς ωιτη τωο ςομμανδς περ μοδελ (εξτραςτ, ςςαν)· τηε ςορπυς-λεελ ρεςυλτς ματριξ ρεγενερατες ωιτη ονε (ςομπαρε_ρυνς.πψ). Εερψ χυαντιτατιε ςλαιμ ιν τηε παπερ ις αδδιτιοναλλψ ρεςομπυτεδ φρομ τηε ςαμε αρτιφαςτς βψ παπερ_ςτατς.πψ, ωηιςη ςτατες, περ ςλαιμ, τηε φροζεν αλυε, τηε λιε αλυε, ανδ τηε ςουρςε φιλε ανδ φορμυλα· τηε ςαμε ταβλε ις εξποςεδ ιν τηε αππ. Ρυν φολδερς πιν τηε προδυςινγ μοδελ· ςςαν αρτιφαςτς ςαρρψ α δεφινιτιον ταγ (αγγρεγατορ_δεφ) ςο τηατ χυαντιτιες ςομπυτεδ υνδερ ςυπερςεδεδ δεφινιτιονς αρε δετεςτεδ ανδ ρεςομπυτεδ ρατηερ τηαν ςιλεντλψ ρευςεδ. Τηε ςςαν ανδ αππ δεφαυλτς ( = 0.7, = 0.7) αρε τηε ονες υςεδ τηρουγηουτ· λεγαςψ ορςηεςτρατιον ςςριπτς ιν τηε ρεποςιτορψ ρεταιν ηιςτοριςαλ δεφαυλτς ανδ προδυςε νο ρεπορτεδ φιγυρε.
Ρεςυλτς
῝ορπυς ατ τιμε οφ ωριτινγ: 13 τεξτς 3 μοδελς (πηι-4, Χωεν3-8Β, Λλαμα-3.1-8Β βαςε) = 39 ρυνς, 78 τεξτμοδελιεω ςελλς, ονε ενγινεερεδ μινιμαλ παιρ πλυς ονε διςςουρςε-φραμινγ παιρ (§7 φολλοω-υπ· ιτς τηρεε ρυνς ςιτ αλονγςιδε τηε ςορπυς ανδ εντερ νο ποολεδ ςτατιςτις), 391 ςηαρεδ ωορδ τψπες περ μοδελ φορ τηε τρανςφερ τεςτ, 4 ςλινιςαλ τρανςςριπτς ωιτη ινδεπενδεντ πςψςηοαναλψτις αννοτατιον (Τιερ 2, λινγυιςτις) ανδ 4 πιπελινε εξεςυτιον τραςες ωιτη α δομαιν εξπερτ´ς ςολυμν-οφ-ιντερεςτ δεςλαρατιον (Τιερ 2, ςτρυςτυραλ).
1. Ενγινεερεδ βουνδαριες (Τιερ 1)

Φιγυρε 2 — τηε αγγρεγατορ ςονςεντρατες ιν τηε τεςηνιςαλ ρεγιςτερ ρεγαρδλεςς οφ ιτς ποςιτιον. Τωο-ςηαννελ τοϰεν μαπς (αγγρεγατορ υπωαρδ ιν βλυε, διφφερεντιατορ δοωνωαρδ ιν ρεδ· ςοντραςτ-νορμαλιζεδ περ ρυν, μεδιαν 0, 95τη περςεντιλε 1) φορ βοτη ΩΦΑ τεξτς υνδερ αλλ τηρεε μοδελς, τηε ςονςτρυςτιον-ϰνοων βουνδαρψ δαςηεδ, τηε τεςηνιςαλ ρεγιςτερ ςηαδεδ. Τηε βλυε μαςς ςιτς ιν τηε ςηαδεδ ρεγιςτερ ον βοτη ςιδες οφ τηε δοςυμεντ, ιν ςατεγοριαλλψ διφφερεντ τοϰεν ματεριαλ αςροςς μοδελς (§3).
Τηε φιρςτ βαττερψ τεςτ ρεαδς ςτρονγ-ανςηορ δενςιτψ αςροςς τηε ςονςτρυςτιον-ϰνοων βουνδαριες. Τηε τωο ΩΦΑ τεξτς πλαςε τηε τεςηνιςαλ ρεγιςτερ ατ οπποςιτε ενδς, δελιβερατελψ ςο, ςινςε α ποςιτιοναλ ςονφουνδ τηεν πρεδιςτς τηε ςαμε διρεςτιον ιν βοτη τεξτς, ωηιλε τηε ρεγιςτερ ηψποτηεςις πρεδιςτς οπποςιτε διρεςτιονς. Βλυε φολλοως τηε ρεγιςτερ ιν 6/6 μοδελ τεξτ ςελλς:
| τεξτ (πρεδιςτιον) | Λλαμα-3.1-8Β | Χωεν3-8Β | πηι-4 |
|---|---|---|---|
| ΩΦΑ 1, τεςηνιςαλ φιρςτ (βλυε βεφορε) | 2.57 | 2.99 | 3.04 |
| ΩΦΑ 2, τεςηνιςαλ λαςτ (βλυε αφτερ) | 0.66 | 0.39 | 0.57 |
Τηε διφφερεντιατορ (ρεδ) ςηαννελ ςονςεντρατες ιν τηε ςοφτ/μαρϰετινγ ρεγιςτερ ιν τηε ινςτρυςτιον-τυνεδ μοδελς (ΩΦΑ 1: 0.43, 0.16· ΩΦΑ 2: 1.63, 4.14) βυτ νοτ ιν τηε βαςε μοδελ (1.21, 0.97), τηε φιρςτ οφ ςεεραλ ινςτρυςτ/βαςε διςςοςιατιονς βελοω, ανδ ονε τηε ματςηεδ-λινεαγε φολλοω-υπ (Μετηοδς· §6) αςςιγνς το τυνινγ ιν τηε ςτριςτ ςενςε: τηε βαςε´ς ινςτρυςτ τωιν ςονςεντρατες λιϰε τηε τυνεδ μοδελς (0.33· 3.54). Στατεδ φορ ςομπλετενεςς, τηε τωιν´ς αγγρεγατορ βλυρς τηε ρεερςεδ-ορδερ ςοντρολ (βεφορε-ρατιο 1.05 αγαινςτ τηε βαςε´ς 0.66), τηε ονε φολλοω-υπ ρεαδουτ ον τηε ωρονγ ςιδε οφ 1· ιτ εντερς νο ποολεδ ςουντ. Τηε ηαρδ-ϑαργον ςοντρολ τεξτ (νο πρε-ρεγιςτερεδ διρεςτιον) ςπλιτς τηε μοδελς (βλυε βεφορε-ρατιο 0.41–3.10), ςονςιςτεντ ωιτη οπαχυε τεξτ βεινγ ωηερε ρεαδερ-δεπενδενςε ις λαργεςτ.
2. Τωο ιεως, τωο μαπς

Φιγυρε 3 — τηε τωο-ιεω βουνδαρψ ινερςιον. Αγγρεγατορ ςτρονγ-δενςιτψ ρατιο (βεφορε/αφτερ τηε ςονςτρυςτιον-ϰνοων βουνδαρψ, λογ ςςαλε) φορ βοτη ΩΦΑ τεξτς τηρεε μοδελς, οπερατιε αγαινςτ χυιετ ιεω. Τηε ρατιο ςροςςες τηε 1-λινε βετωεεν ιεως ιν βοτη βουνδαρψ διρεςτιονς: τηε οπερατιε ιεω τραςϰς τηε τεςηνιςαλ ρεγιςτερ, τηε χυιετ ιεω τηε ςοφτ ρεγιςτερ.
Ρεςςαννινγ ιν τηε χυιετ-διμενςιονς ιεω (περ-λαψερ ζ-ςςορινγ) δοες νοτ ωεαϰεν τηε βουνδαρψ αλιγνμεντ, ιτ ινερτς ιτ, ιν αλλ τηρεε μοδελς ανδ ιν βοτη βουνδαρψ διρεςτιονς: ςτρονγλψ ιν τηε ινςτρυςτιον-τυνεδ μοδελς (χυιετ βλυε ον ΩΦΑ 1: 0.08, 0.10 αγαινςτ οπερατιε 3.0· ΩΦΑ 2 ρεερςεδ δεςιγν: 1.79, 2.41), ωεαϰλψ βυτ ον τηε ινερτεδ ςιδε ιν τηε βαςε μοδελ (0.82 ανδ 1.13). Περ-ανςηορ ςηαννελ αλυες ςορρελατε ωεαϰλψ ορ νεγατιελψ βετωεεν ιεως (ε.γ. 0.23, βλυε, πηι-4, ΩΦΑ 1). Τηε τωο γεομετριες αρε νοτ νοιςψ αριαντς οφ ονε μαπ· τηεψ αρε τωο μαπς.
3. Πιν ιδεντιτψ

Φιγυρε 4 — ςηαννελ εξςλυςιον ανδ ρεςρυιτμεντ δεπτη. (α) Μεδιαν ρεδ-ςηαννελ περςεντιλε ατ βλυε-ςτρονγ ανςηορς αγαινςτ ελςεωηερε, περ ρυν (οπερατιε ιεω, τηε νινε νον-τραςε τεξτς): τηε ρεδ ηολε ατ τηε πινς ιν τηε τυνεδ μοδελς· ιν τηε βαςε μοδελ τηε ενγινεερεδ ρυνς ςηοω νο ηολε ανδ τηε ςλινιςαλ ρυνς α παρτιαλ ονε. Ποςτ-ηος, δεςςριπτιε· ςονφουνδ ςηεςϰεδ ιν τηε τεξτ. (β) Ανςηορ-λεελ βαςιν ρεςρυιτμεντ δεπτη ποολεδ οερ τηε ςαμε ρυνς: ρεδ-ςτρονγ εαρλψ, βλυε-ςτρονγ λατε, ορδιναρψ ανςηορς βετωεεν, τηε πινς βινδ ον τηε ωαψ ουτ οφ τηε ρεπορτεδ ωορϰςπαςε ρεγιμε (Διςςυςςιον).
Βαττερψ τεςτ 3 αςϰς ωηατ τηε πινς αρε μαδε οφ, ανδ τηε ανςωερ διφφερς βψ μοδελ: δελιμιτερς ςαρρψ τηε τοπ οφ τηε ρανϰινγ ιν πηι-4 (18/20 τοπ ανςηορς ον τηε διςςοερψ τεξτ, 19–20/20 ον τηε ςλινιςαλ τρανςςριπτς, 6–14/20 ον τηε ρεμαινινγ ενγινεερεδ τεξτς) ανδ ιν τηε βαςε μοδελ (14–20/20 τηρουγηουτ), ανδ αρε αβςεντ φρομ Χωεν3-8Β´ς (0–2/20 αςροςς αλλ νινε τεξτς): ιτς πιν ματεριαλ ις λεξιςαλ, τηε τεξτ´ς ρεςυρρινγ λεξεμες ανδ ςοντεντ ωορδς.
Τηεςε αρε ςουντς, ανδ τηε ωαρνινγ βελονγς ωηερε τηε αγγρεγατε ις υςεδ: α ςουντ ςαννοτ εξπρεςς ρανϰ ςτρυςτυρε. Ιν πηι-4 τηε δελιμιτερς φορμ α ςρυςτ οερ α ςοντεντ βοδψ: ρανϰς 1–20 οφ α ςλινιςαλ ρυν´ς τοπ δεςιλε αρε 95–100% δελιμιτερς, τηε δεςιλε´ς ρεμαινδερ 63–73%, ανδ τηε ςοντεντ ανςηορς ςιτ ατ μεδιαν ρανϰς μορε τηαν τωιςε ας δεεπ. Τηε βαςε μοδελ, βψ ςοντραςτ, ιντερλεαες τηε τωο ςτρατα (ςρυςτ 0.70–0.85, τηε ςτρατα´ς μεδιαν ρανϰς ςλοςε ορ ινερτεδ). Ωηατ τηε ςρυςτ μαςϰς ις ςηοων ιν §8: ςτριππεδ οφ εερψ δελιμιτερ, τηε αλιγνμεντ ωιτη τηε αναλψςτ´ς μαρϰς ριςες. Τηρεε φολλοω-υπ μεαςυρεμεντς, ανδ ονε ποςτ-ηος οβςερατιον:
-
•
Παραγραπη βινδινγ (ςαπιτον τεςτ). πηι-4´ς παραγραπη-φιναλ πινς βινδ τηειρ οων πρεςεδινγ παραγραπη αβοε τηε ρεςτ οφ τηε τεξτ: ον τηε διςςοερψ τεξτ, οπερατιε ςος = +0.022, 14/18 πινς ποςιτιε (ςιγν τεςτ π = 0.031)· χυιετ ςος = +0.066, 15/18, π = 0.0075, ανδ τηε διρεςτιον ρεπλιςατες ον τηε φουρ οτηερ τεξτς ωιτη ελιγιβλε πινς. Χωεν προδυςες νο παραγραπη-φιναλ πινς (ιτς πιν ματεριαλ ις λεξιςαλ), ςο τηε τεςτ δοες νοτ αππλψ· τηε ματεριαλ διφφερενςε ις α ρεςυλτ, νοτ α μιςςινγ αλυε.
-
•
Δεπτη. Πιν βαςινς ςατυρατε λατε: μεδιαν ρεςρυιτμεντ λαψερ 29/40 ( 72% οφ δεπτη) ς 17/40 ( 42%) φορ ορδιναρψ ανςηορς ανδ 11/40 ( 28%) φορ ρεδ-ςτρονγ ονες. Τηε πινς βινδ τηε τεξτ ωηερε ρεπορτεδ γλοβαλ-ωορϰςπαςε ςοντεντ ςολλαπςες τοωαρδ ουτπυτ ρεπρεςεντατιονς, νοτ ωηερε ιτ ιγνιτες.
-
•
Τψπε τρανςφερ (§6) ςηοως τηε πιν φυνςτιον δοες νοτ τραελ ωιτη τηε τοϰεν τψπε αςροςς τεξτς ιν τηε τυνεδ μοδελς.
-
•
῝ηαννελ εξςλυςιον (ποςτ-ηος· φουνδ αφτερ φρεεζε, δεςςριπτιε). Ιν τηε τυνεδ μοδελς´ οπερατιε ιεω τηε τωο ςηαννελς αρε μυτυαλλψ εξςλυςιε ατ τηε τοπ: τηε τοπ-δεςιλε βλυε ανδ ρεδ ςετς αρε διςϑοιντ ιν 9/9 (πηι-4) ανδ 8/9 (Χωεν3-8Β) ρυνς, ανδ τηε μεδιαν ρεδ περςεντιλε ατ βλυε-ςτρονγ ανςηορς ις 0.05–0.18 ιν πηι-4 αγαινςτ 0.55 ελςεωηερε· τηε πινς ςιτ ιν α ρεδ ηολε. Ιν Χωεν´ς ςλινιςαλ ρυνς τηε εξςλυςιον ις νεαρ-εξαςτ (τηε μαϑοριτψ οφ βλυε-ςτρονγ ανςηορς ςαρρψ ρεδ οφ λιτεραλλψ ζερο). Τηε βαςε μοδελ ςηοως νο ηολε ον τηε ενγινεερεδ τεξτς (ρεδ ατ βλυε-ςτρονγ ατ τηε 0.53–0.71 περςεντιλε, ςτρονγ-ςετ οερλαπ υπ το 0.167) ανδ α παρτιαλ ηολε ον τηε ςλινιςαλ ονες (0.18–0.25), α φυρτηερ ινςτρυςτ/βαςε διςςοςιατιον, ανδ ονε τηε ματςηεδ τωιν (§6) ςπλιτς δοων τηε μιδδλε: υνδερ τυνινγ τηε ηολε οπενς εερψωηερε (ρεδ ατ βλυε-ςτρονγ ατ τηε 0.13–0.36 περςεντιλε ον τηε ενγινεερεδ τεξτς, 0.14–0.20 ον τηε ςλινιςαλ, αγαινςτ 0.54 ελςεωηερε), ωηιλε τηε ρεςρυιτμεντ ορδερ δοες νοτ μοε, βλυε-ςτρονγ λατερ τηαν ρεδ-ςτρονγ ιν 1/9 ρυνς, εξαςτλψ τηε βαςε´ς ςουντ. Τηε εξςλυςιον ις τυνινγ-βορνε· τηε δεπτη ορδερινγ ις λινεαγε. Τηε χυιετ ιεω ινερτς τηε εξςλυςιον (ρεδ ατ βλυε-ςτρονγ ανςηορς ατ τηε 0.66 περςεντιλε ς 0.48 ελςεωηερε). Δεπτη ςεπαρατες τηε ςτρονγ ςετς τηε ςαμε ωαψ: πηι-4´ς βλυε-ςτρονγ βαςινς ρεςρυιτ λατερ τηαν ιτς ρεδ-ςτρονγ βαςινς ιν 9/9 ρυνς (0.52–0.77 ς 0.21–0.42 φραςτιοναλ δεπτη· Χωεν 7/9· τηε βαςε μοδελ 1/9, ινερτεδ). Α ςονφουνδ ηας το βε ςτατεδ ηερε: βλυε ις ρανϰ-ςουπλεδ το ςυβςπαςε ςιζε ϰ, ανδ ιν πηι-4 πυλλ_φρας_γαπ αντι-ςορρελατες ωιτη ϰ (μεδιαν 0.42), ςο παρτ οφ πηι´ς ηολε ςουλδ βε αριτημετις ςομπρεςςιον οφ τηε γαπ ιν λαργε ςυβςπαςες, βυτ Χωεν ςηοως τηε φυλλ εξςλυςιον ατ νεαρ-ζερο ϰ-ςουπλινγ (0.09), ανδ τηε βαςε μοδελ´ς λαργε-ϰ ανςηορς ςηοω νο ηολε (0.07), ςο τηε εξςλυςιον ις νοτ αν αριτημετις νεςεςςιτψ οφ λαργε ςυβςπαςες.
4. Τηε ενγινεερεδ ανομαλψ (μινιμαλ παιρ)

Φιγυρε 5 — ςυφφιξ διεργενςε υνδερ τηε ενγινεερεδ ανομαλψ. Περ-τοϰεν φιναλ-λαψερ ςοςινε βετωεεν τηε εδιτεδ ανδ βαςε ερςιονς οερ τηε ςηαρεδ ςυφφιξ, βψ διςτανςε φρομ τηε εδιτ (δοτς: τοϰενς· λινες: ρολλινγ μεδιαν), ωιτη τηε πρεφιξ ιδεντιτψ φλοορ ατ 1.0. Στατες διεργε νεαρ τηε εδιτ ανδ ρεςοερ ωιτη διςτανςε, νεερ το ιδεντιτψ. Ινςετ: ςηαννελ ρανϰ ςταβιλιτψ οερ τηε ςαμε αλιγνεδ τοϰενς, ηιγη, βυτ ςψςτεματιςαλλψ βελοω ςτατε ςταβιλιτψ, ωιτη τηε λαργεςτ δροπς ιν τηε διφφερεντιατορ οφ τηε τυνεδ μοδελς.
Βαττερψ τεςτ 5 ςετς τηε αβςυρδ παςςαγε (δελιβερατελψ φαλςε ινφορματιον, ~110 τοϰενς) αγαινςτ ιτς εξςιςεδ βαςε ερςιον:
-
•
῝αυςαλιτψ φλοορ. Πρεφιξ ςτατες αρε ιδεντιςαλ βετωεεν ερςιονς: μινιμυμ φιναλ-λαψερ ςοςινε 1.0 (φλοατ32) οερ τηε 741–742 πρεφιξ τοϰενς (τοϰενιζερ-δεπενδεντ), αλλ μοδελς.
-
•
Ρεγιον ςιγνατυρε. Ιν τηε εδιτεδ τεξτ, τηε ανομαλψ ις αν αγγρεγατιον οιδ ωιτη ελεατεδ οπερατιε διφφερεντιατιον (βλυε ςτρονγ-δενςιτψ 0.08–1.0, ρεδ 1.27–2.43) ανδ χυιετ-ιεω ςιλενςε. Ατ α τοϰεν-ςουντ-ματςηεδ ωινδοω ατ τηε βαςε τεξτ´ς ϑυνςτιον τηε ςιγνατυρε ις αβςεντ (ρεδ 0.77–1.00 ιν 3/3 μοδελς): ιτ βελονγς το τηε ςοντεντ, νοτ τηε ποςιτιον.
-
•
Ωηατ α μυνδανε ρεαδερ ςεες ηερε (βαςελινε_ρεγιονς.πψ). Σςορεδ ας `ὼηιςη τοϰενς λιε ινςιδε τηε εδιτ´´, τηε πρεδιςτιε μεαςυρες ανδ τηε αγγρεγατορ ςεπαρατε ιν ςιγν: εντροπψ 0.63–0.67 ανδ ωορδ ςυρπριςαλ 0.63–0.65 αγαινςτ βλυε 0.17–0.32, αλλ τηρεε μοδελς. Τηε λεξιςαλ πρεδιςτορς αρε ινδιφφερεντ (ραριτψ 0.53–0.54, λενγτη ανδ ςοντεντ 0.49–0.50): τηε παςςαγε ις αβςυρδ, νοτ υνυςυαλ. Βλυε´ς οων ϑυνςτιον ςοντρολ ηολδς (0.42–0.61). Ωηερε α παςςαγε ις μαξιμαλλψ ιμπροβαβλε ανδ ωοεν ιντο νοτηινγ, τηε πρεδιςτιε μεαςυρες ριςε ανδ τηε ςηαννελ λεαες.
-
•
Συφφιξ ςονταμινατιον. Ιδεντιςαλ ωορδινγ ρεαδ αφτερ τηε ανομαλψ διεργες φρομ ιτς βαςε-ερςιον ςτατες: μεδιαν ςοςινε 0.987–0.993 νεαρ τηε εδιτ, ρεςοερινγ το 0.996–0.998 ατ διςτανςε, νεερ το ιδεντιτψ.
-
•
῝ηαννελ ςταβιλιτψ. Οερ τηε ςηαρεδ ςυφφιξ, ςηαννελ ρανϰ ςταβιλιτψ ις ηιγη βυτ ςψςτεματιςαλλψ βελοω ςτατε ςταβιλιτψ: Σπεαρμαν 0.73–0.97, ωιτη τηε λαργεςτ δροπς ιν τηε διφφερεντιατορ ςηαννελ οφ τηε τυνεδ μοδελς (0.73, 0.76). Στρυςτυραλ αλυε ις ρουγηλψ αν ορδερ οφ μαγνιτυδε μορε εδιτ-ςενςιτιε τηαν τηε ςτατες ιτ ις ρεαδ φρομ.
5. ῝λινιςαλ τρανςςριπτς (Τιερ 2)

Φιγυρε 6 — Τιερ-2 αννοτατιον ςςορινγ. Ρανϰ Αϒ῝ ον αναλψςτ-μαρϰεδ αγαινςτ υνμαρϰεδ τοϰενς φορ τηε τηρεε ςηαννελς οφ ιντερεςτ, φουρ τρανςςριπτς τηρεε μοδελς, ςηανςε ατ 0.5. Βλυε-οπερατιε αβοε ςηανςε ιν αλλ βυτ ονε ςελλ (βαςε μοδελ, τρανςςριπτ 3)· ρεδ-οπερατιε ατ ορ βελοω ςηανςε ιν αλλ βυτ ονε (Χωεν3-8Β, τρανςςριπτ 4)· χυιετ-βλυε βελοω ςηανςε τηρουγηουτ, τηε πρε-ρεγιςτερεδ παττερν, 34/36 διρεςτιοναλ ςελλς. (φιγ_τιερ2_φορεςτ.πψ)
Βαττερψ τεςτ 6 ςςορες τηε ινδεπενδεντ πςψςηοαναλψτις αννοτατιον (φουρ τρανςςριπτς, 12–29 μαρϰεδ ιτεμς εαςη), τηρεςηολδ-φρεε. Τηε διρεςτιοναλ πρεδιςτιον ωας ρεγιςτερεδ αφτερ τρανςςριπτ 1: βλυε-οπερατιε Αϒ῝ αβοε 0.5, ρεδ ανδ χυιετ-βλυε ατ ορ βελοω. Τηε ουτςομε ις 34/36 διρεςτιοναλ ςελλς· ςινςε τηε διρεςτιον ωας φιξεδ ον τηατ φιρςτ τρανςςριπτ, ιτς νινε ςελλς αρε ιν ςαμπλε, ανδ τηε τηρεε λατερ τρανςςριπτς ηολδ ιν 25 οφ τηειρ 27. Τηε ςουντ ις α ρεπλιςατιον ταλλψ ανδ νοτ τηιρτψ-ςιξ ινδεπενδεντ τεςτς: τηε τηρεε πρεδιςτιονς περ τρανςςριπτ αρε μαδε οφ ςηαννελς τηε παπερ ελςεωηερε ςηοως το βε ρελατεδ, βλυε ανδ ρεδ βεινγ μυτυαλλψ εξςλυςιε ατ τηε τοπ οφ τηε ρανϰινγ (§3) ανδ τηε τωο ιεως ινερτινγ ον τηε ενγινεερεδ βουνδαρψ (§2), ςο τηε ρεδ ανδ χυιετ-βλυε πρεδιςτιονς αρε τηε ωεαϰερ ηαλφ οφ τηε ςουντ. Ωε τηερεφορε ρεπορτ τηε τηρεε ςομπονεντς ςεπαρατελψ βελοω, ανδ τηε αλιγνμεντ ςλαιμ ρεςτς ον τηε βλυε-οπερατιε ςολυμν.
| τρανςςριπτ | Λλαμα βλυε-οπ | Χωεν βλυε-οπ | πηι-4 βλυε-οπ |
|---|---|---|---|
| Η1 | 0.665 | 0.696 | 0.724 |
| Η2 | 0.576 | 0.623 | 0.682 |
| Η3 | 0.470 | 0.652 | 0.706 |
| Η4 | 0.567 | 0.670 | 0.705 |
Τηε φουρτη τρανςςριπτ ρεπλιςατες βοτη τηε διρεςτιον ανδ τηε περ-τρανςςριπτ μοδελ ορδερινγ (Λλαμα < Χωεν < πηι-4). Ρεδ-οπερατιε ις βελοω ςηανςε ιν 11/12 ςελλς (0.26–0.49· τηε μιςς ις Χωεν3-8Β ον Η4 ατ 0.58)· χυιετ-βλυε βελοω ςηανςε ιν 12/12 (0.25–0.40). Τηε τωο μιςςες αρε τηε βαςε μοδελ´ς Η3 βλυε (τηε ωεαϰεςτ τραςϰερ τηρουγηουτ, §6) ανδ ονε τυνεδ ρεδ ςελλ. Τηε ματςηεδ ινςτρυςτ τωιν (§6· νεερ ποολεδ) αδδς τωελε ςελλς ιν τηε ρεγιςτερεδ διρεςτιονς, 12/12: βλυε-οπερατιε αβοε ςηανςε ον εερψ τρανςςριπτ (0.570–0.702, μεδιαν 0.650 αγαινςτ τηε βαςε´ς 0.571), ρεδ-οπερατιε βελοω (0.26–0.35), χυιετ-βλυε βελοω (0.32–0.45)· τηε βαςε´ς ονε βλυε μιςς, Η3, ςροςςες ςηανςε ατ 0.570.
Ωηατ τηε αννοτατιον ςαν ςεττλε. Τηε μαρϰς αρε α προβε οφ τηε ςηαννελ, νοτ ιτς ςριτεριον. Ωηατ τηεψ μαϰε ααιλαβλε ις τηε ςτρυςτυρε α Λαςανιαν ρεαδινγ ωουλδ αςςυμε, τηε ποιντς ατ ωηιςη α διςςουρςε ις οργανιζεδ, ανδ τηε χυεςτιον ις ωηετηερ τηε ςηαννελ ις δεποςιτεδ τηερε. Τηεψ νεερ εξηαυςτ τηε ςτρονγ-αγγρεγατιον ςετ: ιν πηι-4 ανδ τηε βαςε μοδελ ρουγηλψ 60–75% οφ ςτρονγ αγγρεγατιον ςιτς ον βαρε δελιμιτερς, ανδ φυρτηερ ςτρατα ρεμαιν ονςε τηε μαρϰεδ τερμς αρε ρεμοεδ (Διςςυςςιον, ``Τηε υνμαρϰεδ λαττιςε´´). Α ηιγη Αϒ῝ ωουλδ τηερεφορε νοτ μεαν τηατ τηε ςηαννελ ις τηε αννοτατιον, ανδ α μιςςεδ μαρϰ δοες νοτ μεαν τηε ςηαννελ ις εμπτψ τηερε.
Στατις λεξιςαλ βαςελινες ωερε ρυν ον τηε ςαμε ςπλιτ (Μετηοδς). Ραριτψ ρεςοερς τηε μαρϰεδ τερμς ατ ποολεδ Αϒ῝ 0.875–0.878, ιναριαντ αςροςς τηε τηρεε ρεαδερς το 0.02, ανδ ιτ φολλοως τηε ςηαννελ νοωηερε ελςε ιν τηε παπερ: νοτ ατ τηε ενγινεερεδ ανομαλψ, ωηερε ιτ ις ινδιφφερεντ ωηιλε βλυε ις ςιγνεδ ανδ αβςεντ (§4), ανδ νοτ ατ τηε μαρϰεδ διςρυπτιονς, ωηερε ιτ ςιτς ατ τηε φλοορ ωηιλε βλυε ις εξτρεμε (βελοω). Α τψπε-λεελ ςονςταντ, ονε νυμβερ περ ωορδ ανδ τηε ςαμε ταβλε φορ εερψ ρεαδερ, ςαννοτ φολλοω ρεςυλτς τηατ τυρν ον οςςυρρενςε, ποςιτιον ανδ γραιν. Ιτ αλιγνς ατ ονε γραιν οφ ονε γρουνδ τρυτη, ςο βλυε ις ρεπορτεδ υνδερ τηε ςοντρολς τηατ γραιν ρεχυιρες: αβοε ςηανςε ωιτηιν ςοντεντ ωορδς ιν 10/12 ςελλς (0.53–0.67) ανδ ρεςιδυαλιζεδ ον ωορδ-λεελ ςυρπριςαλ ανδ ραριτψ ιν 11/12 (0.52–0.66). Ποολεδ, ανδ ιν εαςη ςαςε ραω, τηεν ωιτηιν ςοντεντ ωορδς, τηεν ρεςιδυαλιζεδ, τηε βαςε μοδελ ρυνς ατ 0.562, 0.549 ανδ 0.585, Χωεν3-8Β ατ 0.657, 0.541 ανδ 0.518, ανδ πηι-4 ατ 0.703, 0.602 ανδ 0.637. Ωιτηιν ςοντεντ ωορδς τηε τωο μιςςες αρε τηε βαςε μοδελ´ς Η3, ιτς ϰνοων μιςς, ατ 0.466 ανδ Χωεν3-8Β´ς Η2 ατ 0.497· ρεςιδυαλιζεδ, ονλψ Χωεν3-8Β´ς Η2 ςταψς βελοω ςηανςε, ατ 0.495. Αγαινςτ τηε τωο περμυτατιον νυλλς πηι-4 ςλεαρς βοτη (π = 0.0001 βλοςϰ, 0.0013 ραριτψ-ματςηεδ), τηε βαςε μοδελ τηε βλοςϰ νυλλ ονλψ (0.0003 αγαινςτ 0.103), ανδ Χωεν3-8Β νειτηερ (0.21, 0.47). Τηε ρεαδερς´ ποολεδ ςπρεαδ φαλλς φρομ 0.141 το 0.119 υνδερ τηε ςυβτραςτιον, ανδ το 0.052 βετωεεν τηε τωο τηε μετηοδ αδϑυδιςατες (περ-ςελλ αλυες ιν ουτπυτς/ςομπαριςον/βαςελινε_αυςς.ςς).
Τηε ρεαδερς αρε ρουτεδ τηρουγη διφφερεντ ματεριαλ. Ωηψ τηε ςυβτραςτιον λανδς ςο διφφερεντλψ βψ ρεαδερ ις ιτςελφ μεαςυραβλε, ανδ μεαςυραβλε ωιτηουτ τηε μαρϰς. Οερ εερψ ςςαννεδ τοϰεν, τηε ςηαρε οφ βλυε´ς ρανϰ αριανςε τηε τωο ςοαριατες εξπλαιν ις 0.15–0.22 ιν Χωεν3-8Β, 0.04–0.08 ιν πηι-4 ανδ 0.00–0.03 ιν τηε βαςε μοδελ, διςϑοιντ αςροςς αλλ φουρ τρανςςριπτς· ςινςε τηε αννοτατιον νεερ εντερς τηε χυαντιτψ, ιτ ςονδιτιονς τηε ςυβτραςτιον ωιτηο��τ βεινγ α φυνςτιον οφ ιτς ουτςομε. Τηις ις τηε ςοντινυους φορμ οφ τηε πιν-ματεριαλ διςςοςιατιον οφ §3, ανδ ιτ ρεςολες τηε ςεςτιον´ς αςψμμετριες ιντο ονε ςτρυςτυρε. Χωεν3-8Β´ς ρανϰινγ ις λεξιςαλ τηρουγηουτ, ςο τηε ςυβτραςτιον ρεμοες α φιφτη οφ τηε ςηαννελ ιτςελφ, ανδ ον τηατ ρεαδερ´ς ςλινιςαλ ινςρεμεντ τηε μετηοδ δεςιδες ιν νειτηερ διρεςτιον· ωε ςλαιμ νοτηινγ τηερε. Τηε τωο δελιμιτερ-ςρυςτεδ ρεαδερς αρε λαψερεδ ινςτεαδ: τηειρ οργανιζινγ ποςιτιονς αρε τηε μοςτ φρεχυεντ ματεριαλ ιν τηε τεξτ, ωηιςη ις ωηψ εραςινγ δελιμιτερς ραιςες πηι-4´ς αλιγνμεντ ρατηερ τηαν λοωερινγ ιτ (§8), ωηιλε τηε ςοντεντ ανςηορς βενεατη τηε ςρυςτ οερλαπ τηε ραρε ςτρατυμ τηε βαςελινες μεαςυρε, ωηιςη ις ωηψ τηε ςυβτραςτιον ςτιλλ ςοςτς πηι-4 0.066. Τηε ςρυςτ ις νειτηερ ραρε νορ μαρϰεδ, ανδ τηε ρεαδινγ τηε αννοτατιον ςςορες ηαππενς υνδερνεατη ιτ.
Τηε πρεδιςτιον μεαςυρες αντι-αλιγν. Πρεδιςτιε εντροπψ ρανϰς μαρϰεδ τοϰενς ατ 0.30–0.32 ποολεδ ανδ ρεαλιζεδ τοϰεν ςυρπριςαλ ατ 0.43–0.45, βοτη βελοω ςηανςε. Τοϰεν ςυρπριςαλ βελοω ςηανςε ις παρτλψ μεςηανιςαλ (λονγ ςομπουνδς ςαρρψ νεαρ-δετερμινιςτις ςοντινυατιον τοϰενς· προϑεςτινγ εαςη ωορδ´ς μαξιμυμ τοϰεν ςυρπριςαλ βαςϰ οερ ιτς τοϰενς ρεπαιρς τηε βαςελινε το 0.69), βυτ τηε ρεπαιρεδ βαςελινε ςολλαπςες εξαςτλψ ωηερε τηε ςηαννελ ηολδς: υνδερ ρεπετιτιον. Αςροςς τηε τηρεε μαρϰεδ ρεπετιτιονς οφ Ωαηρηειτ (Η3), τηε ωορδ´ς ςυρπριςαλ περςεντιλε φαλλς φρομ 0.49–0.57 το 0.33–0.55 το 0.09–0.16 αςροςς τηε τηρεε μοδελς ωηιλε ιτς βλυε περςεντιλε ςταψς ατ 0.73–0.93· Μυττερ, τωιςε μαρϰεδ ιν Η2, ςιτς ατ ςυρπριςαλ 0.02–0.07 ωιτη βλυε ατ 0.82–0.93· τηε ςεςονδ μαρϰεδ Σελβςτμορδ ατ 0.08–0.20 αγαινςτ βλυε 0.80–1.00· γεςτορβεν (Η1) ατ 0.10–0.20 αγαινςτ 0.87–0.98. Τηε παττερν ις νοτ υνιερςαλ (τηε ςεςονδ Γενερατιον φαλλς ον βοτη, βλυε 0.32–0.52, ςυρπριςαλ 0.11–0.13), βυτ ιτς διρεςτιον ις ςτρυςτυραλ: ρεπετιτιον δεςτροψς ινφορματιον ςοντεντ, νοτ μαρϰεδνεςς, ανδ α πρεδιςταβιλιτψ ρεαδερ λοςες τηε ςιγνιφιερ ατ τηε μομεντ ιτ βεγινς το ινςιςτ (Διςςυςςιον, ``Στρυςτυραλ αλυε´´· περ-τερμ περςεντιλες ιν ουτπυτς/ςομπαριςον/βαςελινε_τερμς.ςς).
Τηε εξεμπλαρς αρε νοτ ςελεςτεδ: τηε ταβλε γιες εερψ μαρϰεδ τερμ ωιτη τωο ορ μορε οςςυρρενςες ιν ιτς τρανςςριπτ (11 τερμς), τηε ςροςς-μοδελ ρανγε οφ τηε ωορδ´ς ςυρπριςαλ, αττεντιον-ρολλουτ ανδ βλυε περςεντιλε βψ οςςυρρενςε (βαςελινε_ρεπετιτιον.ςς, αττεντιον_ρεπετιτιον.ςς· αττεντιον ρολλουτ ις τηε μοδελ-ιντερναλ ριαλ ινςτρυμεντ, ςςορεδ ιν φυλλ ιν §8). Αςροςς αλλ 33 τερμ μοδελ ςαςες τηε ςυρπριςαλ περςεντιλε φαλλς φρομ φιρςτ το λαςτ οςςυρρενςε ιν 26, ωιτη α μεδιαν ςηανγε οφ 0.16· τηε ρολλουτ περςεντιλε φαλλς ιν 32, ωιτη α μεδιαν ςηανγε οφ 0.18, τηε ςτεεπεςτ δραιν οφ τηε τηρεε· βλυε φαλλς ιν 21, ωιτη α μεδιαν ςηανγε οφ 0.02. ϒνδερ ρεπετιτιον τηε ινφορματιον μεαςυρε ανδ τηε τραφφις μεαςυρε δραιν τογετηερ, ανδ τηε αγγρεγατορ ηολδς.
| τερμ | ςυρπριςαλ βψ οςςυρρενςε | ρολλουτ βψ οςςυρρενςε | βλυε βψ οςςυρρενςε |
|---|---|---|---|
| Σελβςταυφγαβε (Η1) | 0.91–0.97 0.69–0.80 | 0.29–0.56 0.03–0.07 | 0.90–0.98 0.80–0.97 |
| Γενερατιον (Η2) | 0.58–0.81 0.11–0.13 | 0.87–0.92 0.54–0.76 | 0.62–0.81 0.32–0.52 |
| Μυττερ (Η2) | 0.02–0.07 0.06–0.07 | 0.86–0.87 0.75–0.86 | 0.82–0.93 0.84–0.90 |
| Σελβςτμορδ (Η2) | 0.67–0.98 0.08–0.20 | 0.89–0.93 0.81–0.84 | 0.84–0.95 0.80–1.00 |
| Ωερβυνγ (Η2) | 0.46–0.68 0.68–0.83 | 0.34–0.63 0.22–0.27 | 0.56–0.90 0.60–0.90 |
| Üβερλεβεν (Η2) | 0.84–0.96 0.32–0.47 | 0.53–0.62 0.29–0.64 | 0.81–0.95 0.70–0.93 |
| Γυτες (Η3) | 0.92–0.96 0.81–0.91 | 0.68–0.73 0.02–0.16 | 0.60–0.94 0.84–0.89 |
| Μαϰε-ϒπ (Η3) | 0.99 0.55–0.89 | 0.60–0.65 0.32–0.43 | 0.25–0.75 0.32–0.72 |
| Ωαηρηειτ (Η3) | 0.49–0.57 0.33–0.55 0.09–0.16 | 0.76–0.87 0.70–0.73 0.69–0.71 | 0.81–0.93 0.80–0.93 0.73–0.93 |
| Ωερτολλες (Η3) | 0.87–0.94 0.78–0.96 | 0.08–0.12 0.00 | 0.13–0.76 0.54–0.91 |
| Λιεβε (Η4) | 0.20–0.79 0.41–0.49 | 0.75–0.82 0.27–0.64 | 0.16–0.64 0.04–0.34 |
Τωο χυαλιτατιε ςτρυςτυρες ςιτ ινςιδε τηε αγγρεγατε, ανδ βοτη ρεπλιςατε:
-
•
Τηε μιςςες αρε γραδεδ, τηε δεεπ ςτρατυμ ις λεξιςαλλψ ςπεςιφις, ανδ τηε παττερν ρεπλιςατες. Σςορεδ βψ τηε βεςτ ρανϰ ανψ οφ ιτς τοϰενς ρεαςηες (ςπαν-μαξιμυμ βλυε περςεντιλε αςροςς μοδελς, βαςελινε_τερμς.ςς), Η1´ς μαρϰεδ ιτεμς ςεπαρατε ιντο τηρεε ςτρατα ωιτη ςλεαν γαπς: τηε ςονφλιςτ/δεςτρυςτιον λεξιςον ις ςαυγητ ουτριγητ (γεςτορβεν, Ραυββαυ, Βεφρειυνγςςςηλαγ, Σελβςταυφγαβε, Ωειßγλυτ, μαξιμα 0.93–0.99), τηρεε προςεςς-ανδ-αφφεςτ τερμς ςιτ ϑυςτ υνδερ τηε ςτρονγ-δεςιλε ςυτοφφ (Αυφαρβειτυνγ, ηινγυςϰε, Ωäρμε, 0.83–0.89, εδγε ςαςες οφ τηε τηρεςηολδ ρατηερ τηαν δεςλινες), ανδ τηε ονλψ δεεπ μιςςες αρε τηε προφεςςιονς οφ λοε, Λιεβε πυρ ανδ νυρ Λιεβε, ωηοςε βεςτ τοϰεν ιν ανψ μοδελ ςτοπς ατ 0.53. Η4, ωηοςε αννοτατιον ωας φιξεδ ιν τηε ςαμε ςιττινγ ας τηε οτηερς, μοντης βεφορε τηε ινςτρυμεντ εξιςτεδ, ρεπροδυςες τηε δεεπ ςτρατυμ εξαςτλψ: πυρε Λιεβε ανδ Λιεβε τωιςε ατ 0.04–0.64, Κινδ ατ 0.66, ωιτη εερψ οτηερ μαρϰεδ ιτεμ αβοε 0.92. Ωäρμε μαϰες τηε ςπεςιφιςιτψ ςηαρπ: ωαρμτη ις νεαρλψ ςαυγητ ιν αλλ τηρεε μοδελς (0.88–0.89) ωηιλε λοε ις δεςλινεδ ιν αλλ τηρεε· τηε δεςλινε ατταςηες το τηε Λιεβε λεξεμε, νοτ το αφφεςτ οςαβυλαρψ. Ωηατεερ τηε αγγρεγατορ ςονςολιδατες, προφεςςιονς οφ λοε αρε ςψςτεματιςαλλψ νοτ ιτ. Τηε μυνδανε βαςελινες ςηαρπεν τηε οβςερατιον ιντο α διςςοςιατιον: τηε ςαμε ςπανς ρανϰ ηιγη ον τηε ςηεαπ πρεδιςτορς (ςπαν-μαξιμυμ ραριτψ περςεντιλε 0.86–0.91 ον τηε πυρ πηραςες, ωορδ-λεελ ςυρπριςαλ 0.76–1.00), ςο τηε μιςς ις νο φρεχυενςψ αρτιφαςτ. Τηε βαςελινες δεςλαρε τηεςε ςπανς εαςψ, ανδ τηε αγγρεγατορ δεςλινες τηεμ, ιν αλλ τηρεε μοδελς.
-
•
Ρυπτυρες λεαε ςηαννελ τραςες — ας εξτρεμες, νοτ ας μερε δειατιονς. Τηε γυιδινγ ηψποτηεςις ωας τηατ μαρϰεδ ρυπτυρες ωουλδ βε ιςιβλε ιν τηε ςηαννελς· τηεψ αρε, τηουγη νοτ υνιερςαλλψ, ας τηε ςομπλεξιτψ οφ τηε προβλεμ οφ ρυπτυρε ωουλδ λεαδ ονε το εξπεςτ. Τηε ςλαιμ ονλψ ηας ςοντεντ αγαινςτ α βαςε ρατε. Δειατιον αλονε ςαρριες νο ινφορματιον: 99% οφ αρβιτραρψ υνμαρϰεδ ωινδοως οφ τηε ςαμε ςιζες δειατε βψ 1.5 ορ 0.67 ιν ατ λεαςτ ονε οφ τηε τωελε μοδελςηαννελιεω ςελλς (108/109 ιν α ςλιδινγ-ωινδοω ςςαν, ρυπτυρε_ωινδοως.πψ), ανδ ςιξ οφ τηε ςεεν μαρϰεδ διςρυπτιονς δο τοο. Ωηατ ςαρριες ινφορματιον ις ρανϰ. Ηελδ αγαινςτ εερψ υνμαρϰεδ ωινδοω οφ ιτς οων ςιζε ιν ιτς τρανςςριπτ, τηε ςολλαπςεδ-ςψνταξ παςςαγε οφ Η3 ις τηε ςινγλε μοςτ χυιετ-βλυε-ελεατεδ ωινδοω ιν αλλ τηρεε μοδελς (χυιετ βλυε 2.2–2.9, τηουγη ιτς λενγτη αδμιτς ονλψ 11 ςομπαριςον ωινδοως), ανδ ιτς ςεςονδ μαρϰεδ ςπαν ςιτς ατ π95–π98. Η2´ς πρινςιπαλ μαρϰεδ παςςαγε ις τηε ςινγλε μοςτ χυιετ-βλυε-ωιτηδραων ωινδοω ιν αλλ τηρεε μοδελς (0.42–0.49), ωηιλε Η2´ς ςεςονδ ςπαν ανδ Η1´ς τωο ςπανς αρε εξτρεμε ιν ονε μοδελ ανδ μιδδλινγ ιν τηε οτηερς. Η4´ς ςινγλε μαρϰεδ ςπαν ις τηε εξςεπτιον: ονε λονγ υνδιιδεδ παςςαγε, ~27% οφ τηε τρανςςριπτ οερ τηρεε ςπεαϰερ τυρνς, ιτ δειατες ιν νο ςελλ (αλλ ρατιος 0.72–1.40) ανδ ις τοο λονγ το ρανϰ, αδμιττινγ ονλψ ~6 ςομπαριςον ωινδοως. Σεγμεντεδ ατ τηε ςπεαϰερ-τυρν βουνδαριες, α ςεγμεντατιον τηατ ις ουρς ανδ νοτ τηε αννοτατιον´ς, ιτς ςυβ-ςπανς τραςε ιν οπποςιτε διρεςτιονς τηατ ςανςελ (Διςςυςςιον). Τηε ενγινεερεδ ανομαλψ ϰεεπς ιτς ςεπαρατε ςοντρολ: ιτς ρεδ ριμ οερ αν αγγρεγατιον οιδ αππεαρς ατ τηε εδιτ ανδ νοτ ατ α τοϰεν-ματςηεδ ϑυνςτιον ωινδοω. Τηε ςαμε ςςαν ρετυρνς υνμαρϰεδ ωινδοως ςαρρψινγ τηε ςαμε ρεπλιςατεδ ςιγνατυρες, τρεατεδ ιν τηε Διςςυςςιον. Α ποτεντιαλ τψπολογψ οφ ρυπτυρε ϰινδς ις ςϰετςηεδ τηερε, πενδινγ α λαργερ αννοτατεδ ςορπυς.
-
•
Ατ τηις γραιν τηε λεξιςαλ μεαςυρες ινερτ, ανδ ονε ριαλ ρεμαινς. Ρεςςορινγ τηε ςαμε ωινδοως ωιτη μυνδανε φεατυρες ιν πλαςε οφ τηε ςηαννελς (βαςελινε_ρεγιονς.πψ· ςαμε ςπανς, ςαμε δενςιτψ ρατιο, ςαμε τηρεςηολδ, ςαμε ρανϰινγ) πυτς ςοντεντ-ωορδ δενςιτψ ατ τηε φλοορ οφ τηε διςτριβυτιον φορ εερψ μαρϰεδ ςπαν ιν εερψ μοδελ, ανδ ραριτψ ατ 0.00–0.18 ον τηε τωο ςπανς ωηοςε ςηαννελ ςιγνατυρε ρεπλιςατες: τηε μαρϰεδ διςρυπτιονς αρε τηε λεαςτ λεξιςαλλψ ςονςπιςυους ωινδοως οφ τηειρ τρανςςριπτς, ςο τηε ςαμε αναλψςτ μαρϰς λεξιςαλλψ ςαλιεντ ιτεμς ατ τηε τερμ γραιν ανδ λεξιςαλλψ ινςονςπιςυους παςςαγες ατ τηις ονε. Ονε μεαςυρε δοες τραςϰ τηε ςηαννελ ηερε, ανδ ιτ ις νοτ λεξιςαλ: πρεδιςτιε εντροπψ ις τηε ςινγλε μοςτ ελεατεδ ωινδοω οφ ιτς ςιζε ιν αλλ τηρεε μοδελς ον τηε ςολλαπςεδ-ςψνταξ παςςαγε, τηε ςαμε ςπαν ςαρρψινγ τηε ηεαδλινε χυιετ-βλυε ελεατιον. Ιτ ςαννοτ, ηοωεερ, ςιγν τηε διςτυρβανςε. Εντροπψ ις ελεατεδ ον Η2´ς πρινςιπαλ παςςαγε τοο (0.82–1.00), ωηερε τηε ςηαννελ ις μαξιμαλλψ ωιτηδραων, ςο ιτ ρεπορτς τηατ ςομετηινγ ις διςτυρβεδ ωηιλε τηε ςηαννελ ρεπορτς ιν ωηιςη διρεςτιον, ωηιςη ις ωηατ τηε τψπολογψ βελοω ρεςτς ον· ανδ βψ τηε αλλ-τηρεε-μοδελς ςριτεριον ιτ ρεπλιςατες ον τηατ ονε ςπαν αλονε.
Γρουπ-διςςυςςιον πολψπηονψ αττενυατες τηε αλιγνμεντ (Η2, ωηερε τηε ςηαννελς πλαςε ςτρονγ αγγρεγατιον ον τηε οτηερ ςπεαϰερς´ διςςουρςε, ωηιςη τηε αννοτατιον λεαες υνμαρϰεδ· Διςςυςςιον, ``Τηε υνμαρϰεδ λαττιςε´´), ςονςιςτεντ ωιτη τηε αννοτατιον τραςϰινγ ονε ςπεαϰερ´ς διςςουρςε.

Φιγυρε 7 — τηε τρανςφερ/φιδελιτψ ινερςιον. Μεδιαν ιδιοςψνςρατις ςαμε-τψπε τρανςφερ περςεντιλε (ξ) αγαινςτ μεδιαν ςλινιςαλ βλυε-οπερατιε Αϒ῝ (ψ), περ μοδελ. Τηε τψπε-ανςηορεδ ρεαδερ, τηε βαςε μοδελ, τρανςφερρινγ νεαρ τηε 93ρδ περςεντιλε οφ τηε ςςαφφολδ βαςελινε, ρεαδς τηε ςινγυλαρ διςςουρςε ωορςτ· τηε τυνεδ μοδελς τρανςφερ νεαρ βαςελινε ανδ ρεαδ ιτ βεςτ. Φιδελιτψ ηερε ις ραω τραςϰινγ οφ τηε αννοτατιον ας α ωηολε· τηε ρεαδερς διφφερ ιν ηοω φαρ τηειρ ςηαννελς ριδε τηε ςηαρεδ λεξιςαλ πλανε, ςο τηε ςοντραςτ ις ρεπορτεδ ηερε ραω ανδ γραδεδ υνδερ τηε ςοντρολς ιν §5. Τηε ορδερινγ ωιτηιν τηε τυνεδ παιρ ις νοτ ςταβλε αςροςς ςορπυς ςομποςιτιονς ανδ ις νοτ ςλαιμεδ. Τηε ματςηεδ ινςτρυςτ τωιν (νοτ ςηοων· βελοω) βρεαϰς τηε αξις ιντο ιτς τωο ςομπονεντς: βαςε-λεελ τρανςφερ, νεαρ-τυνεδ φιδελιτψ.
6. Τψπε-εςςενςε τρανςφερ
Βαττερψ τεςτ 7 ςςορες ςαμε-τψπε ςροςς-τεξτ ςυβςπαςε οερλαπ αγαινςτ α ρανδομ-ανςηορ ςςαφφολδ βαςελινε, ον ιδιοςψνςρατις διμενςιονς, φορ τηε 391 ςηαρεδ ωορδ τψπες περ μοδελ:
| μοδελ | ιδιο ςαμε-τψπε πςτιλε (μεδ) | τψπες > 90τη πςτιλε | βλυε-οπ Αϒ῝, ςλινιςαλ (μεδ) |
|---|---|---|---|
| πηι-4 | 75τη | 10.7% | 0.706 |
| Χωεν3-8Β | 72νδ | 2.0% | 0.661 |
| Λλαμα-3.1-8Β | 93ρδ | 52.7% | 0.571 |
Τηε ςςαφφολδ ιτςελφ ις ενορμους ανδ τψπε-ινδιφφερεντ (ρανδομ ςροςς-τεξτ ανςηορ παιρς οερλαπ ατ μεδιαν 1.00 ιν τηε τυνεδ μοδελς, 0.36 ιν βαςε Λλαμα). Τψπε-τρανςφερ ςεπαρατες τηε μοδελς ιντο τωο γρουπς, ινερςελψ το τηειρ φιδελιτψ το τηε αναλψςτ´ς μαρϰινγς: τηε βαςε μοδελ (ηαλφ οφ ωηοςε ςηαρεδ τψπες τρανςφερ αβοε τηε 90τη περςεντιλε οφ τηε ςςαφφολδ βαςελινε) ις τηε ςορπυς´ς ονε τψπε-ανςηορεδ ρεαδερ, ανδ ιτς φιδελιτψ ις τηε ωορςτ· τηε τωο ινςτρυςτιον-τυνεδ μοδελς τρανςφερ νεαρ βαςελινε ανδ ρεαδ βεςτ. Ωε ρεπορτ τηε τωο-γρουπ φορμ δελιβερατελψ: αν εαρλιερ ςορπυς ςομποςιτιον ορδερεδ τηε τυνεδ παιρ ονε ωαψ ον τηε μεδιαν (πηι βελοω Χωεν), τηε πρεςεντ ονε ορδερς ιτ τηε οτ��ερ ωαψ· τηε ωιτηιν-παιρ ορδερινγ ις νοτ ροβυςτ, ανδ ωε δο νοτ ςλαιμ ιτ. Τηε βετωεεν-γρουπ γαπ ις λαργε ανδ ςυριες εερψ ςομποςιτιον ωε ηαε τεςτεδ. Ωηερε ωιτηιν-ρεγιςτερ τρανςφερ δοες αππεαρ ιν α τυνεδ μοδελ, ιτ ςιτς ον τηε ρεγιςτερ´ς ςονερςατιοναλ μαςηινερψ ρατηερ τηαν ιτς ςοντεντ λεξιςον: τηε τψπες τηε φουρτη τρανςςριπτ ςενδς αβοε τηε 90τη περςεντιλε ιν πηι-4 αρε τηε ηεδγες, διςςουρςε μαρϰερς ανδ ςπεεςη-αςτ ερβς οφ ςποϰεν γρουπ διςςυςςιον (γλαυβε, δενϰε, ιργενδωιε, γεςαγτ), ωηιλε τηε τηεματις ςιγνιφιερς παιρινγ τηε ςαμε τρανςςριπτς (Λιεβε) ςταψ ατ βαςελινε. Τηε ςηαρεδ ςπεεςη ςιτυατιον ρεςυρς ανδ τηε ρεαδινγ οφ ιτς φραμε ρεςυρς ωιτη ιτ· νοτηινγ ηας το τραελ ωιτη τηε ωορδ.
Τηε τωο ςιδες οφ τηε αλιγνμεντ ςαρρψ τηε ςαμε ςτρυςτυρε, ανδ τηε φιδελιτψ αξις ηας το βε ρεαδ ωιτη βοτη πλανες ςυβτραςτεδ. Τηε ςςαφφολδ ις ςυβτραςτεδ ηερε· τηε λεξιςαλ βαςελινες αρε ςυβτραςτεδ ιν §5, ωηερε τηε ινςρεμεντ ςυριες ςλεανλψ ιν πηι-4, ωεαϰλψ ιν τηε βαςε μοδελ, ανδ ις νοτ αδϑυδιςαβλε ιν Χωεν3-8Β, ανδ ωηερε τηε ρεαδερς´ γαπ αττενυατες φρομ 0.141 το 0.052 βετωεεν τηε τωο τηε μετηοδ δεςιδες. Τηε τωο-γρουπ φορμ ις αςςορδινγλψ α ςλαιμ αβουτ τραςϰινγ τηε αννοτατιον ας α ωηολε, νοτ αβουτ τηε ςινγυλαρ ςυρπλυς αλονε. Τηε ματςηεδ παιρ ις εξεμπτ βψ ςονςτρυςτιον: βαςε ανδ τωιν ρεαδ τηε ςαμε τρανςςριπτς οερ τηε ςαμε πλανε, ςο τηε τωιν´ς γαιν ις α φαςτ αβουτ τηε ρεαδερ. Ωηερε τηε γαιν λανδς, τηατ εξεμπτιον αλονε ςαννοτ ςαψ, ςινςε τυνινγ ςουλδ ιν πρινςιπλε ρε-ςουπλε τηε αγγρεγατορ το μαρϰ-πρεδιςτιε λεξιςαλ ςτρυςτυρε· τηε ςομπαριςον βελοω δεςιδες ιτ.
Τηε ματςηεδ παιρ. Τηε ματςηεδ-λινεαγε φολλοω-υπ (Μετηοδς) ις Λλαμα-3.1-8Β-Ινςτρυςτ, τηε βαςε´ς ινςτρυςτιον-τυνεδ τωιν, ςαμε πιπελινε ανδ ςονςταντς, εερψ ςορπυς τεξτ, ρεπορτεδ ηερε ανδ ποολεδ νοωηερε. Ιτ ρετυρνς α ςπλιτ ερδιςτ, ανδ τηε ςπλιτ ις τηε ρεςυλτ. Ον τρανςφερ τηε τωιν ις ιτς βαςε: ιδιοςψνςρατις ςαμε-τψπε τρανςφερ ατ τηε 93ρδ περςεντιλε, 55% οφ τψπες αβοε τηε 90τη αγαινςτ τηε βαςε´ς 53%, τηε ςςαφφολδ οερλαπ εχυαλλψ λινεαγε-ςταβλε (0.40 αγαινςτ τηε βαςε´ς 0.36, ωηερε τηε τυνεδ παιρ ςατυρατες ατ 1.00). Ον ρεαδινγ ιτ ις α τυνεδ μοδελ: βλυε-οπερατιε Αϒ῝ ριςες ον αλλ φουρ τρανςςριπτς (μεδιαν 0.650), τηε §1 ρεγιςτερ ςονςεντρατιον αππεαρς (ρεδ 0.33 ανδ 3.54), τηε §3 ρεδ ηολε οπενς, ωηιλε τηε ανςηορ γεομετρψ ςταψς ιτς βαςε´ς: ρεςρυιτμεντ ορδερ (βλυε-ςτρονγ λατερ ιν 1/9 ρυνς) ανδ βοτη τραςε-ςολυμν ςιγνατυρες οφ §7 (ιτς αγγρεγατορ φλατ αςροςς τηε εξπερτ´ς ςολυμν γρουπς· ιτς διφφερεντιατορ υνρεοργανιζεδ βψ τηε φραμινγ παραγραπη, 0.92 λιϰε τηε βαςε). Τηε §5 ςοντρολς ςερτιφψ ωηερε τηε ςονφερρεδ φιδελιτψ λανδς. Τηε τωιν´ς ρεςιδυαλιζεδ Αϒ῝ εξςεεδς τηε βαςε´ς ον εερψ τρανςςριπτ (0.678, 0.622, 0.588, 0.640 αγαινςτ τηε βαςε´ς 0.661, 0.582, 0.531, 0.582· ποολεδ 0.627 αγαινςτ 0.585), ανδ ιτς ποολεδ ινςρεμεντ ςλεαρς βοτη περμυτατιον νυλλς (π = 0.0001 βλοςϰ, 0.0003 ραριτψ-ματςηεδ) ωηερε τηε βαςε ςλεαρς τηε βλοςϰ νυλλ ονλψ. Τηε αδδεδ φιδελιτψ ις νοτ α ρε-ςουπλινγ οφ τηε αγγρεγατορ το μαρϰ-πρεδιςτιε λεξιςαλ ςτρυςτυρε, α μεςηανιςμ τηε ςορπυς ςηοως το βε ααιλαβλε το α τυνεδ ρεαδερ, ςινςε Χωεν3-8Β´ς αγγρεγατορ ις ςουπλεδ το τηατ αξις ατ 0.15–0.22 οφ ιτς ρανϰ αριανςε (§5). Τηε τωιν´ς ις νοτ: 0.007–0.035, αγαινςτ ιτς βαςε´ς 0.002–0.028 ανδ Χωεν3-8Β´ς 0.153–0.223, ωηιλε τηε ρεςιδυαλιζεδ αλιγνμεντ ριςες. Σινςε τηατ χυαντιτψ ις μεαςυρεδ ωιτηουτ τηε αννοτατιον, ιτ ςεττλες τηε μεςηανιςμ ρατηερ τηαν ρεςτατινγ τηε ρεςυλτ: ιν τηε ματςηεδ λινεαγε τηε ςονφερρεδ φιδελιτψ λανδς ιν τηε ςινγυλαρ ρεμαινδερ. Ινςτρυςτιον τυνινγ, ιν τηε ονε λινεαγε ωηερε τηε ςομπαριςον ις ςλεαν, ςονφερς τηε διςςουρςε-ρεαδινγ ςομπετενςιες (ςλινιςαλ φιδελιτψ, ρεγιςτερ ςενςιτιιτψ, τηε εξςλυςιον ςτρυςτυρε) ανδ λεαες τηε γεομετρψ υντουςηεδ: τψπε-εςςενςε, ρεςρυιτμεντ δεπτη ανδ ςολυμν οργανιζατιον αρε λαιδ δοων βψ τηε λινεαγε, τυνεδ ορ νοτ. Τηε τωο-γρουπ φορμ οφ τηε ταβλε αβοε τηερεφορε δεςομποςες: τψπε-τρανςφερ ςεπαρατες λινεαγες (πηι ανδ Χωεν αγαινςτ Λλαμα, τυνεδ ορ νοτ) ανδ φιδελιτψ ςεπαρατες τυνεδ φρομ βαςε ωιτηιν α λινεαγε. Ωηατ Φιγυρε 7 ςηοως ας ονε ινερτεδ αξις ις τωο φαςτς τηατ αλιγν αςροςς τηεςε τηρεε ρεαδερς· τηε τωιν, ςαρρψινγ βαςε-λεελ τρανςφερ ανδ νεαρ-Χωεν φιδελιτψ, ις τηε ποιντ οφφ τηε αξις. Τηε τψπε-εςςενςε, ωηερε τηε ςορπυς ηας ονε, ις ινερτ: ρεαδινγ ςϰιλλ ις αδδεδ ωιτηουτ τουςηινγ ιτ.
7. Εξεςυτιον τραςες (Τιερ 2, ςτρυςτυραλ)

Φιγυρε 8 — τηε ςηαννελμοδελ ςολυμν διςςοςιατιον. (α) Ποολεδ ςολυμν-γρουπ ρανϰ Αϒ῝ (α γρουπ´ς τοϰενς αγαινςτ εερψ οτηερ ςςαννεδ τοϰεν) ον τηε τωο τραςες ωηοςε ρεςουρςε φιελδς ςαρρψ ρεαλ αλυες: πηι-4´ς αγγρεγατορ ον τηε μεαςυρεμεντ ςολυμνς, ιτς διφφερεντιατορ ον ιδεντιτψ· Χωεν3-8Β ινερτεδ· τηε βαςε μοδελ´ς αγγρεγατορ φλατ. (β) Τηε φραμινγ φορϰ (φολλοω-υπ, νοτ α ςορε ςλαιμ): ρεδ-ςηαννελ ρανϰ ςταβιλιτψ υνδερ α πρεπενδεδ εξπλανατορψ παραγραπη — πηι-4 ανδ Χωεν3-8Β ρεοργανιζε (0.36/0.40), τηε Λλαμα λινεαγε δοες νοτ, βαςε ανδ ιτς ινςτρυςτ τωιν αλιϰε (0.92/0.92).
Τηε ςεςονδ Τιερ-2 γρουνδ τρυτη ςονςιςτς οφ φουρ πιπελινε εξεςυτιον τραςες (ταβυλαρ ρεςορδς· 12 ρυνς), φορ ωηιςη α δομαιν εξπερτ δεςλαρεδ τηε ςολυμνς α δομαιν ρεαδερ ςονςυλτς (προςεςς ναμε, ςτατυς, ανδ τηε ρυντιμε/῝Πϒ/μεμορψ φιελδς), τηε αννοτατιον φιξεδ βεφορε ανψ μοδελ ουτπυτ ωας ςεεν. Τηις ις α ςτρυςτυραλ/δατα γρουνδ τρυτη, μετηοδολογιςαλλψ διςτινςτ φρομ τηε λινγυιςτις αννοτατιον οφ §5: ιτ δοες νοτ τεςτ λινγυιςτις υνδερςτανδινγ ιν α διρεςτ ςενςε, ανδ ιτ ις ςςορεδ περ ςολυμν, νεερ ποολεδ ωιτη τηε ςλινιςαλ ρεςυλτ.
Τηε ποολεδ μαρϰεδ-ς-υνμαρϰεδ Αϒ῝ ις υνινφορματιε (0.5 ιν αλλ ςελλς): τηε ιντερεςτ ςετ ις ρουγηλψ ηαλφ τηε τοϰενς ανδ ις δομινατεδ βψ τηε λονγ ναμε φιελδ. Περ ςολυμν γρουπ, τηε ςηαννελς δο ςονςεντρατε ον τηε εξπερτ´ς φιελδς, βυτ τηεψ ςπλιτ βψ ςηαννελ ανδ βψ μοδελ. Γρουπινγ τηε δεςλαρεδ ςολυμνς ιντο ιδεντιτψ (ναμε, ςτατυς) ανδ μεαςυρεμεντ (τηε ρεςουρςε φιελδς) ανδ ςςορινγ εαςη γρουπ´ς ρανϰ Αϒ῝ ον τηε τωο τραςες ωηοςε ρεςουρςε φιελδς ςαρρψ αλυες (βοτη ρεπλιςατεδ· ςολυμν_τρανςφερ.πψ):
| μοδελ | βλυε ον ιδεντιτψ | βλυε ον μεαςυρες | ρεδ ον ιδεντιτψ | ρεδ ον μεαςυρες |
|---|---|---|---|---|
| πηι-4 | 0.30–0.31 | 0.83–0.84 | 0.65–0.67 | 0.41–0.47 |
| Χωεν3-8Β | 0.63–0.67 | 0.32–0.35 | 0.36–0.38 | 0.62–0.64 |
| Λλαμα-3.1-8Β (βαςε) | 0.49–0.56 | 0.55–0.58 | 0.28–0.44 | 0.66–0.70 |
πηι´ς αγγρεγατορ λιγητς τηε μεαςυρεμεντ ςολυμνς (0.83–0.84) ωηιλε ιτς διφφερεντιατορ μαρϰς τηε ιδεντιτψ ςολυμνς (0.65–0.67)· Χωεν ινερτς τηε αγγρεγατορ εξαςτλψ (ιδεντιτψ 0.63–0.67, μεαςυρες 0.32–0.35). Τηις ις τηε §3 πιν-ματεριαλ διςςοςιατιον ςαρριεδ το αν εξτερναλ φιελδ λιςτ: Χωεν´ς ρεςυρρινγ-λεξεμε πινς λατςη ον τηε ρεπεατεδ προςεςς-ναμε ςτρινγς, πηι´ς ςτρυςτυραλ αγγρεγατιον ον τηε νυμερις φιελδς. Τηε βαςε μοδελ ςηοως νο ςυςη αγγρεγατορ οργανιζατιον: βλυε ις φλατ αςροςς τηε τωο ςολυμν γρουπς (ιδεντιτψ 0.49–0.56, μεαςυρες 0.55–0.58, νο πρεφερενςε), ςονςιςτεντ ωιτη §6 (τηε μοςτ τψπε-ανςηορεδ ρεαδερ, ωηιςη ον τηις φορματ-ιμποεριςηεδ δατα οργανιζες ον τηε φορματ ςςαφφολδ, ηεαδερς ανδ δελιμιτερς ανδ ιδεντιφιερ φραγμεντς, ρατηερ τηαν ον ςοντεντ). Τηε ματςηεδ ινςτρυςτ τωιν (§6· νεερ ποολεδ) λεαες τηις φλατ: ιτς βλυε ηολδς νο ςολυμν πρεφερενςε ειτηερ (ιδεντιτψ 0.57–0.60, μεαςυρες 0.56–0.57), ςο τηε ςολυμν οργανιζατιον πηι ανδ Χωεν ςαρρψ ις α λινεαγε ςιγνατυρε, νοτ α προδυςτ οφ ινςτρυςτιον τυνινγ.
Αττενδινγ το α ςολυμν ις νοτ φινδινγ τηε ηεαψ ροως. ῝ορρελατινγ τηε αγγρεγατορ αλυε αγαινςτ παρςεδ ρεςουρςε μαγνιτυδε περ ροω, ρυντιμε ις τηε ονλψ φιελδ τραςϰεδ ωιτη ανψ ςονςιςτενςψ: βλυε ς. ρεαλτιμε μαγνιτυδε ις ποςιτιε ιν τηρεε οφ τηε φουρ τυνεδ ςελλς (+0.50 … +0.60) βυτ νεαρ ζερο ιν τηε φουρτη (πηι-4 ον ονε τραςε, +0.01), ωηιλε μεμορψ ανδ ῝Πϒ μαγνιτυδε αρε νοτ ρελιαβλψ τραςϰεδ (ςιγνς μιξεδ αςροςς τραςες ανδ μοδελς). Τηε ςηαννελς λοςατε τηε εξπερτ´ς φιελδς· βεψονδ ρυντιμε τηεψ δο νοτ ρανϰ τηε εξπενςιε προςεςςες.
Φολλοω-υπ διρεςτιον: Α διςςουρςε-φραμινγ μινιμαλ παιρ, α λιγητ εξπλανατορψ παραγραπη πρεπενδεδ το α βαρε ταβλε, ρεοργανιζες τηε διφφερεντιατορ ιν πηι-4 ανδ Χωεν3-8Β (οπερατιε ιεω· τηε αγγρεγατορ ςηαιν ανδ τηε εντιρε χυιετ ιεω αρε ιναριαντ), μοινγ ρεδ οφφ τηε αρβιτραρψ ιδεντιφιερ ςολυμνς οντο τηε φιελδς τηε φραμε ναμες (ρεδ ςηαννελ ςταβιλιτψ 0.36/0.40). Τηε Λλαμα λινεαγε δοες νοτ ρεοργανιζε: βαςε ανδ ιτς ινςτρυςτ τωιν βοτη ηολδ ατ 0.92, ςο τηις τοο ις λινεαγε ρατηερ τηαν α τυνινγ εφφεςτ (§6, ματςηεδ παιρ). Βεςαυςε τηε φραμε ποιντς βψ ναμε ρατηερ τηαν βψ ςοντεντ, ιτ δοες νοτ βψ ιτςελφ ιμπροε αλιγνμεντ ωιτη τηε δατα ωηερε τηε ναμεδ φιελδς αρε εμπτψ. Ωε ρεπορτ τηις ας αν ιντερεςτινγ φολλοω-υπ, δεελοπεδ ιν ςεπαρατε ωορϰ.
8. Ροβυςτνεςς ςηεςϰς
-
•
Νοελτψ βαςελινε. Τηε ςηαννελς αρε νοτ διφφιςυλτψ ιν διςγυιςε. Αγαινςτ ηοριζον εντροπψ (τηε 27 νον-τραςε ρυνς), τοϰεν-λεελ ςορρελατιονς αρε μοδερατε ανδ γενρε-ηετερογενεους: ον ςλινιςαλ τρανςςριπτς, οπερατιε αγγρεγατορ αλυες ςορρελατε νεγατιελψ ωιτη εντροπψ (0.18 … 0.64· πινς ςιτ ωηερε τηε ηοριζον ις μοςτ ςονςολιδατεδ) ωηιλε διφφερεντιατορ αλυες ςορρελατε ποςιτιελψ ιν τωο μοδελς· ον τηε ενγινεερεδ τεςηνιςαλ τεξτς βοτη ςορρελατιονς αρε ωεαϰ ανδ ςιγν-μιξεδ (0.29 … +0.52). Τηε ρεγιςτερ ρεςυλτς οφ §1 οβταιν ον τεξτς ωηερε τηε εντροπψ ςορρελατιον ις νεαρ ζερο (0.12, πηι-4, ΩΦΑ 1). Ρεαλιζεδ-τοϰεν ςυρπριςαλ ςορρελατιονς αρε λιϰεωιςε ωεαϰ ανδ γενρε-ςπλιτ: ον ςλινιςαλ τρανςςριπτς τηε οπερατιε αγγρεγατορ–ςυρπριςαλ ςορρελατιον ις νεαρ ζερο (μεδιαν 0.02) ανδ τηε διφφερεντιατορ–ςυρπριςαλ ςορρελατιον μιλδλψ νεγατιε (μεδιαν 0.16), ανδ ον τηε ενγινεερεδ τεξτς βοτη αρε ωεαϰ ανδ ςιγν-μιξεδ. Τηε ςλαιμ ις τοϰεν-λεελ ανδ δοες νοτ εξτενδ το εερψ γραιν: ατ ρεγιον λεελ εντροπψ ανδ τηε χυιετ αγγρεγατορ ςο-πεαϰ ον ονε μαρϰεδ διςρυπτιον (§5), ωηιλε ον τηε ενγινεερεδ ανομαλψ τηεψ ςεπαρατε ιν ςιγν (§4).
-
•
Αττεντιον ςαλιενςψ (ποςτ-ηος, δεςςριπτιε). Τηε αγγρεγατορ ις νοτ τηε μοδελ´ς οων τραφφις. Αττεντιον ις τηε ςαλιενςψ ινςτρυμεντ αν ιντερπρεταβιλιτψ ρεαδερ ωουλδ ρεαςη φορ βεφορε ανψ ςηαννελ οφ ουρς, ςο ιτ ωας ςςορεδ ον τηε ςλινιςαλ ςπλιτ οφ §5: περ-τοϰεν αττεντιον ρεςειεδ ανδ αττεντιον ρολλουτ (Αβναρ ανδ Ζυιδεμα 2020), ηεαδ-αεραγεδ οερ α φρεςη τεαςηερ-φορςεδ παςς περ τρανςςριπτ, εαςη τοϰεν´ς ρεςειεδ μαςς διιδεδ βψ ιτς νυμβερ οφ αττενδινγ χυεριες ςο τηατ τηε ςαυςαλ μαςϰ´ς φαουρινγ οφ εαρλψ ποςιτιονς ςαννοτ ποςε ας αλιγνμεντ (αττεντιον_ςαλιενςψ.πψ· μεαςυρες ανδ ςορρεςτιονς φιξεδ βεφορε ανψ αλυε ωας ςομπυτεδ, Μετηοδς). Ραω, αλλ νινε ποολεδ ςελλς ςιτ ατ ςηανςε, 0.47–0.51. ϒνδερ τηε ςυβτραςτιον οφ §5 τηεψ ριςε ρατηερ τηαν φαλλ, το ατ μοςτ 0.56 ωιτηιν ςοντεντ ωορδς ανδ 0.55–0.58 ρεςιδυαλιζεδ, βεςαυςε αττεντιον ςονςεντρατες ον τηε φρεχυεντ ματεριαλ τηε αναλψςτ δοες νοτ μαρϰ, ςο ρεμοινγ τηε λεξιςαλ ςομπονεντ υνςοερς α ρεςιδυε· ρεςιδυαλιζινγ ηελπς α μεαςυρε ςουπλεδ νεγατιελψ το τηε ςοαριατες ανδ ςοςτς ονε ςουπλεδ ποςιτιελψ, ανδ ραω-αγαινςτ- ρεςιδυαλιζεδ ςομπαριςονς αςροςς τωο μεαςυρες αρε νοτ οτηερωιςε ιντερπρεταβλε. Τηατ ρεςιδυε ις λεελ ωιτη τηε βαςε μοδελ´ς ρεςιδυαλιζεδ βλυε (0.576 αγαινςτ 0.585). Ιτ ις αλςο φλατ, αρψινγ βψ 0.015 αςροςς τηε τηρεε μοδελς ωηερε βλυε´ς ρεςιδυαλιζεδ αλυες ςπαν 0.518 το 0.637, ανδ νο αττεντιον μεαςυρε ηας βεεν πυτ το τηε περμυτατιον νυλλς. Ωηετηερ τηε ρεαδερς´ ςπρεαδ ρυνς τηρουγη ιτ ις τεςτεδ διρεςτλψ: βλυε ρεςιδυαλιζεδ ον αλλ τηρεε αττεντιον μεαςυρες ις υνςηανγεδ ιν εερψ μοδελ (βαςε 0.568, Χωεν3-8Β 0.664, πηι-4 0.712, αγαινςτ ραω 0.562, 0.657 ανδ 0.703), ανδ αδδινγ αττεντιον το τηε λεξιςαλ ςοαριατες νεερ λοωερς τηε ςαλιβρατεδ ινςρεμεντ βψ μορε τηαν 0.013 (ουτπυτς/ςομπαριςον/αττεντιον_αυςς.ςς). Τηε τωο αλςο παρτ υνδερ ρετυρν: αςροςς τηε 33 τερμ μοδελ ςαςες οφ §5 τηε ρολλουτ περςεντιλε φαλλς φρομ φιρςτ το λαςτ οςςυρρενςε ιν 32, βλυε ιν 21. Α τοϰεν´ς ςονςολιδατιον ανδ τηε ολυμε ωιτη ωηιςη ιτ ις ρεαδ φρομ αρε διφφερεντ χυαντιτιες ον τηις ςπλιτ (Διςςυςςιον, ``Στρυςτυραλ αλυε´´).
-
•
Πινς αρε νοτ ςινϰς (ποςτ-ηος, δεςςριπτιε). Τηε τωο μεαςυρες αρε εαςιεςτ το ςονφλατε ον τηε δελιμιτερ ςρυςτ οφ §3, ςο τηεψ ωερε ςςορεδ αγαινςτ εαςη οτηερ τηερε. Δελιμιτερς δο δραω μορε αττεντιον τηαν οτηερ τοϰενς, ιν αλλ τωελε ςελλς (μεδιαν ρεςειεδ περςεντιλε 0.61–0.65 βψ μοδελ αγαινςτ 0.46–0.47 φορ νον-δελιμιτερς). Τηεψ αρε νοτ τηε ςαμε δελιμιτερς: ςπλιττινγ τηε δελιμιτερ ςλαςς βψ ωηετηερ τηε αγγρεγατορ πλαςες τηε τοϰεν ιν ιτς τοπ δεςιλε, τηε πιννεδ ποςιτιονς ςιτ βελοω τηε υνπιννεδ ονες ιν ρεςειεδ αττεντιον ιν βοτη τυνεδ μοδελς (πηι-4 0.50 αγαινςτ 0.70, Χωεν3-8Β 0.36 αγαινςτ 0.67) ανδ λεελ ιν τηε βαςε μοδελ (0.58 αγαινςτ 0.60), τηε ορδερινγ ηολδινγ ιν αλλ ςεεν τεςταβλε τυνεδ ςελλς ανδ ιν τωο οφ τηε βαςε μοδελ´ς φουρ (Χωεν3-8Β´ς φουρτη τρανςςριπτ πινς νο δελιμιτερ, ςο ελεεν ςελλς αρε τεςταβλε). Τηε τωο τοπ δεςιλες οερλαπ ατ 0.04–0.11 ωηερε ςηανςε ις 0.10, ανδ τηε τοϰεν-λεελ ςορρελατιον ις νυλλ το νεγατιε (βαςε +0.03, πηι-4 0.15, Χωεν3-8Β 0.33). Τηε παραγραπη-φιναλ πινς ςιτ ατ τηε 0.98 αγγρεγατορ περςεντιλε βψ ςονςτρυςτιον ανδ τηε 0.64–0.71 αττεντιον περςεντιλε ιν πηι-4. Ρεςειεδ αττεντιον ις διιδεδ βψ τηε νυμβερ οφ αττενδινγ χυεριες, α ςορρεςτιον τηατ φαουρς λατε ποςιτιονς ρατηερ τηαν πεναλιζινγ τηεμ, ςο τηε πινς´ μιδδλινγ αττεντιον ις νοτ μαδε βψ τηε ςορρεςτιον. Τηε ονε ποςιτιον ωηερε τηε ςινϰ λιτερατυρε δοες δεςςριβε τηε αγγρεγατορ ις τηε φιρςτ τοϰεν (βελοω), ωηιςη νο ηεαδλινε ρεςυλτ υςες. Σςοπε: τηε ςλινιςαλ ςπλιτ ονλψ, ον ωηιςη τηε αττεντιον παςς ωας ταϰεν· τηε ςαπιτον τεςτ οφ §3 ρυνς ον τηε διςςοερψ τεξτ ανδ ηας νο αττεντιον ςουντερπαρτ.
-
•
Δελιμιτερ εραςυρε (ποςτ-ηος, δεςςριπτιε). Τηε αγγρεγατορ ις νοτ πυνςτυατιον ιν διςγυιςε. Στριππινγ εερψ δελιμιτερ τοϰεν φρομ τηε ςςορινγ ποολ ραιςες τηε ςλινιςαλ βλυε-οπερατιε Αϒ῝ ιν αλλ φουρ τρανςςριπτς οφ βοτη δελιμιτερ-ηεαψ μοδελς: πηι-4 το 0.72–0.77 (φρομ 0.68–0.72), τηε βαςε μοδελ το 0.52–0.72, ιτς ςινγλε βελοω-ςηανςε ςελλ (Η3, 0.470) μοινγ αβοε ςηανςε το 0.522. Ιτ λοωερς Χωεν3-8Β´ς βψ 0.04 (το 0.58–0.66): ιτς δελιμιτερς ςιτ λοω ιν τηε ρανϰινγ, ωηερε τηεψ ςερεδ ας εαςψ νεγατιες. Τηε δελιμιτερ ςρυςτ οφ §3 μαςϰς τηε αλιγνμεντ ρατηερ τηαν προδυςινγ ιτ. Τηε ρεγιςτερεδ 34/36 ςουντ ςτανδς ας ςςορεδ· τηις ρεςςορινγ ις ποςτ-ηος.
-
•
Φιρςτ-ποςιτιον ελεατιον. ῝ονςιςτεντ ωιτη τηε αττεντιον-ςινϰ λιτερατυρε, τηε φιρςτ αλιδ τοϰεν ςηοως μιλδλψ ελεατεδ αγγρεγατορ αλυες (μεδιαν 73ρδ περςεντιλε αςροςς τηε 27 νον-τραςε ρυνς· τοπ-δεςιλε ιν 30%)· τηε διφφερεντιατορ ις νοτ ελεατεδ (18τη). Νο ηεαδλινε ρεςυλτ δεπενδς ον φιρςτ-ποςιτιον ανςηορς: εξςλυδινγ τηε φιρςτ ϰ οπενινγ ανςηορς φρομ τηε ρεαδουτ (ϰ = 1, 2, 4, 8) λεαες τηε βουνδαρψ διρεςτιονς (6/6) ινταςτ ανδ ςηιφτς τηε ςλινιςαλ βλυε-οπερατιε Αϒ῝ς βψ ατ μοςτ 0.0031 αςροςς αλλ 12 ςελλς ανδ αλλ ϰ, ωιτη τηε πιν-ιδεντιτψ ςηαρες μοινγ βψ ατ μοςτ 0.04 (ρεςομπυτεδ βψ παπερ_ςτατς.πψ). Τηε παραγραπη-φιναλ ςαπιτον πινς ςιτ δεεπ ιν τηε τεξτ ανδ αρε υντουςηεδ βψ ανψ ςυςη εξςλυςιον.
-
•
Δετερμινιςμ ανδ ςελφ-ηεαλινγ. Αλλ νυμβερς ρεγενερατε φρομ ςαςηεδ παςςες ωιτη ονε ςομμανδ· ςςαν αρτιφαςτς ςαρρψ δεφινιτιον ταγς ανδ ρεςομπυτε ωηεν δεφινιτιονς ςηανγε· πρεφιξ ςτατε ιδεντιτψ (1.0) βουνδς φλοατ νοιςε.
-
•
Βουνδαρψ πλαςεμεντ ις εξαςτ το τηε τοϰεν υνδερ βοτη τοϰενιζερ φαμιλιες (νο λεαδινγ-ςπαςε οφφ-βψ-ονε).
Διςςυςςιον
Στρυςτυραλ αλυε
Ωηεν τηε ςαμε ωορδινγ ις ρεαδ αφτερ τωο διφφερεντ παςτς (τηε ςηαρεδ ςυφφιξ οφ τηε εδιτεδ ανδ βαςε ερςιονς), τηε τοϰενς´ ςτατες βαρελψ μοε: μεδιαν φιναλ-λαψερ ςοςινε βετωεεν ερςιονς ις 0.987–0.993 νεαρ τηε εδιτ ανδ 0.996–0.998 ατ διςτανςε, αγαινςτ α μεαςυρεδ ιδεντιτψ φλοορ οφ 1.0 ον τηε ςηαρεδ πρεφιξ. Τηειρ ςτρυςτυραλ αλυες αρε αλςο λαργελψ πρεςερεδ (τηε ςηαννελς´ Σπεαρμαν ρανϰ ςορρελατιον οερ τηε ςαμε αλιγνεδ τοϰενς ις 0.73–0.97), βυτ τηε τωο ςταβιλιτιες αρε νοτ οφ τηε ςαμε ορδερ: ωηερε τηε ςτατες ςιτ ωιτηιν ονε περςεντ οφ τηειρ ιδεντιτψ ςειλινγ, ςηαννελ ρανϰ ςταβιλιτψ δροπς βψ υπ το α χυαρτερ, ανδ τηε δροπ ςονςεντρατες ιν τηε διφφερεντιατορ ςηαννελ οφ τηε ινςτρυςτιον-τυνεδ μοδελς. Α διςταντ εδιτ τηατ λεαες α τοϰεν´ς ςυβςτανςε νεαρλψ υντουςηεδ μεαςυραβλψ ρενεγοτιατες ιτς ποςιτιον ιν τηε τεξτ´ς οργανιζατιον. Σαμε ςυβςτανςε, ςλιγητλψ διφφερεντ ςψςτεμ οφ διφφερενςες, διςπροπορτιονατελψ διφφερεντ αλυε.
Τηις ις, ωε ταϰε ιτ, ειδενςε αγαινςτ ωηατ μιγητ βε ςαλλεδ τηε εςςεντιαλιςτ ρεαδινγ οφ ηιδδεν ςτατες: τηε αςςυμπτιον τηατ α τοϰεν´ς ρεπρεςεντατιοναλ ςοντεντ, ιτς μεταπηοριςιτψ, ιτς ιμπορτανςε, ιτς ςτρυςτυραλ φυνςτιον, ινηερες ιν ιτς εςτορ, ωαιτινγ το βε ρεαδ οφφ βψ α ςυφφιςιεντλψ γοοδ προβε. Ωερε τηατ ςο, αλυε ςηουλδ βε εξαςτλψ ας ςταβλε ας τηε εςτορ ιτ ινηερες ιν· ινςτεαδ ιτ ις ςψςτεματιςαλλψ λεςς ςο, ανδ τηε ςηορτφαλλ τραςϰς τηε ρελατιοναλ ςηαννελς. Ωηατ ουρ μεαςυρεμεντς εξηιβιτ ις ςλοςερ το Σαυςςυρε´ς διςτινςτιον βετωεεν ςιγνιφιςατιον ανδ αλευρ: α ςιγνιφιερ´ς αλυε ις ςονςτιτυτεδ βψ ιτς διφφερενςες φρομ τηε ςο-πρεςεντ οτηερς, νοτ βψ ιντρινςις ςοντεντ. Τηε ανςηορ ςηαννελς ιμπλεμεντ τηις ςονςτιτυτιελψ, νοτ αςςιδενταλλψ: α βαςιν ις α ςετ οφ οτηερ τοϰενς, α πυλλ γαπ ις α διφφερενςε βετωεεν ποπυλατιονς, αν αγγρεγατορ´ς ρανϰ ις α προπερτψ οφ τηε ωηολε ςονφιγυρατιον. Τηερε ις νο ονε-τοϰεν ερςιον οφ ``βεινγ αν ανςηορ.´´
Νοτε τηατ ωιτηιν τηε εμβεδδινγ τηε ςλαιμ ις ςτρονγερ ςτιλλ τηαν ιν Σαυςςυρε´ς λινγυιςτιςς. Τηε ςιγνιφιερ, φορ Σαυςςυρε, ςτιλλ φαςεδ α ςιγνιφιεδ· α τοϰεν´ς εςτορ φαςες ονλψ οτηερ εςτορς. Ιτς ιντρινςις ςοντεντ ις, εξηαυςτιελψ, α ποςιτιον, ανδ α ποςιτιον ις νοτηινγ βυτ τηε ρελατιονς ιτ εντερς, ςο ρεφερενςε δοες νοτ ανςηορ αλυε εεν ιν πρινςιπλε: ιν τηε ρεςιδυαλ ςτρεαμ τηερε αρε ονλψ ςιγνιφιερς. Αν εςςεντιαλιςμ αβουτ ηιδδεν ςτατες αςςορδινγλψ νεεδς μορε τηαν τηε ςταβιλιτψ οφ τηε εςτορ· ιτ νεεδς αν αλιγνμεντ ςλαιμ βετωεεν τηε εμβεδδινγ ςπαςε ανδ τηε ωορλδ. Συςη α ςλαιμ ωας εντυρεδ φορ α τιμε ιν ιντερπρεταβιλιτψ ρεςεαρςη (τηε ``Πλατονις ρεπρεςεντατιον ηψποτηεςις,´´ ον ωηιςη ρεπρεςεντατιοναλ ςονεργενςε αςροςς μοδελς ις ρεαδ ας ςονεργενςε ον ρεαλιτψ· Ηυη ετ αλ. 2024), βυτ ωηατ ςονεργες τηερε ις ρεπρεςεντατιονς ωιτη ρεπρεςεντατιονς, μοδελς τραινεδ ον οερλαππινγ ςορπορα αγρεεινγ ωιτη ονε ανοτηερ: ςονεργενςε αμονγ ρεαδινγς, νοτ ςονταςτ ωιτη α ρεφερεντ.
῞αλυε αγαινςτ ινφορματιον. Σαυςςυρε ςυππλιες τηε ςψνςηρονις ηαλφ οφ τηις ςλαιμ· ιτς διαςηρονις ηαλφ ις Λαςαν´ς, ανδ τηε ςλινιςαλ τιερ γιες ιτ νυμβερς. Ιν τηε τηεορψ τηις παπερ οπερατιοναλιζες, τηε ωειγητ οφ α ςιγνιφιερ ςομες φρομ ιτς ποςιτιον ιν τηε ςηαιν ανδ φρομ ιτς ρετυρν, τηε ινςιςτενςε οφ τηε ςιγνιφψινγ ςηαιν (Λαςαν 2006), νοτ φρομ ιτς ινφορματιενεςς. Σηαννον-ςιδε ρεαςονινγ ορδερς τηε ςαμε τοϰενς τηε οτηερ ωαψ: ωειγητ ας ιμπροβαβιλιτψ, ανδ ιμπροβαβιλιτψ ις ωηατ ρετυρν, βψ ςονςτρυςτιον, δεςτροψς. Τηε τωο αςςουντς τηερεφορε παρτ ωαψς ον α μεαςυραβλε ςιγν ωηερεερ α μαρϰεδ ςιγνιφιερ ρεπεατς, ανδ Ρεςυλτς §5 ρετυρνς τηε Λαςανιαν ςιγν. Οερ τηε ςπλιτ ας α ωηολε τηε πρεδιςτιε μεαςυρες αντι-αλιγν, βοτη βελοω ςηανςε· ατ τηε τψπε λεελ ινφορματιενεςς ςυριες ονλψ ας ραριτψ, τηε γενερις ςηαρε εερψ ρεαδερ γετς φορ φρεε· ανδ ατ τηε λεελ οφ τηε οςςυρρενςε, ωηερε τηε τηεορψ λοςατες τηε ωειγητ, τηε διςςοςιατιον ις ςλεαν, α μαρϰεδ ωορδ´ς ςυρπριςαλ περςεντιλε ςολλαπςινγ αςροςς ιτς ρεπετιτιονς ωηιλε ιτς αγγρεγατορ περςεντιλε ηολδς. Τηε ςηαπε ις ςψςτεματις, νοτ ςυρατεδ: οερ εερψ μαρϰεδ τερμ τηατ ρεπεατς, τηε μεδιαν φιρςτ-το-λαςτ ςηανγε ις 0.16 ιν ςυρπριςαλ περςεντιλε αγαινςτ 0.02 ιν βλυε· ρετυρν δραινς τηε ονε ανδ λεαες τηε οτηερ ςτανδινγ. Τηε αναλψςτ μαρϰς τηε ςιγνιφιερ βεςαυςε ιτ ρετυρνς· αν ινφορματιον ρεαδερ μυςτ λοςε ιτ φορ τηε ςαμε ρεαςον· τηε ποςιτιον-ιν-ςονφιγυρατιον μεαςυρε ςταψς ωιτη τηε αναλψςτ. Ωε ρεγιςτερεδ νο ςυςη πρεδιςτιον. Τηε τηεορψ ςτατεδ ιτ ςεεντψ ψεαρς βεφορε τηε ινςτρυμεντ εξιςτεδ, ανδ τηε ινςτρυμεντ ρετυρνς ιτς ςηαπε ιν τηε ρεγιςτερεδ ςηαννελ. Τηε διςςοςιατιον ηας α ςεςονδ εδγε τηατ ςηαρπενς ιτ. Ονε μιγητ γραντ τηατ ρετυρν δραινς πρεδιςταβιλιτψ ανδ ςτιλλ ςυςπεςτ τηε αγγρεγατορ οφ τραςϰινγ νοτηινγ μορε τηαν ηοω ηεαιλψ α το��εν ις αττενδεδ το, ιτς ςαλιενςε ιν τηε μοδελ´ς οων τραφφις. Ιτ δοες νοτ. Ραω, τηε ςτανδαρδ ςαλιενςψ μεαςυρες ςιτ ατ ςηανςε ον τηε ςλινιςαλ ςπλιτ ιν αλλ τηρεε μοδελς· πυτ υνδερ τηε ςαμε λεξιςαλ ςοντρολς τηε ςηαννελ ις ηελδ το ιτ ριςες, το 0.55–0.58, ςινςε αττεντιον δραινς τοωαρδ τηε φρεχυεντ ματεριαλ τηε αναλψςτ λεαες υνμαρϰεδ ανδ ρεμοινγ τηατ ςομπονεντ υνςοερς α ρεςιδυε. Σο αττεντιον δοες ςαρρψ α ςηαρε οφ τηε μαρϰς, ανδ τηε διςςοςιατιον ις νοτ τηατ ιτ ρεαδς νοτηινγ. Ιτ ις τηατ τηε ρεςιδυε ις φλατ αςροςς τηε τηρεε ρεαδερς ωηερε τηε αγγρεγατορ´ς ις νοτ, ανδ τηατ τηε αγγρεγατορ´ς οων αλιγνμεντ ςυριες ρεςιδυαλιζατιον ον αττεντιον υνδιμινιςηεδ (Ρεςυλτς §8). Ωηατ ιτ ςαννοτ δο ατ αλλ ις ηολδ υνδερ ρετυρν: ςςορεδ αςροςς τηε ςαμε ρεπετιτιονς ιτ δραινς εξαςτλψ ας ςυρπριςαλ δοες (μεδιαν φιρςτ-το-λαςτ ςηανγε 0.18 ιν ρολλουτ περςεντιλε, αγαινςτ 0.02 ιν βλυε· Ρεςυλτς §5). Α τοϰεν ρεαδ φρομ εερ λεςς ας ιτ ινςιςτς ις ςτιλλ ςονςολιδατεδ βψ τηε αγγρεγατορ· τηε ολυμε οφ τραφφις το α ςιγνιφιερ ανδ ιτς ωειγητ ιν τηε ςονφιγυρατιον ςομε απαρτ ον τηε ςαμε μαρϰς ωηερε πρεδιςταβιλιτψ δοες. Ωηατ τηε ςηαννελ ηολδς ις νοτ τηε ινφορματιον τηε τοϰεν ςαρριες, νορ τηε αττεντιον ιτ δραως, βυτ ιτς ςτανδινγ ιν τηε ςηαιν, ανδ ονλψ τηε λαςτ οφ τηε τηρεε ςταψς ωιτη τηε αναλψςτ.
Τηε ενγινεερεδ ανομαλψ ςυππλιες τηε ςονερςε ςορνερ, ανδ ιτ ωας βυιλτ βεφορε ανψ οφ τηις ωας μεαςυρεδ. Ρετυρν δραινς ινφορματιενεςς ανδ τηε αγγρεγατορ ηολδς· τηε αβςυρδ παςςαγε μαξιμιζες ινφορματιενεςς ανδ τηε αγγρεγατορ λεαες. Ιτς τοϰενς αρε τηε μοςτ ιμπροβαβλε ιν τηε τεξτ (πρεδιςτιε εντροπψ 0.63–0.67, ωορδ ςυρπριςαλ 0.63–0.65, αβοε ςηανςε ιν αλλ τηρεε μοδελς) ανδ τηε αγγρεγατορ ις ατ 0.17–0.32, βελοω ςηανςε ιν αλλ τηρεε, ατ α ποςιτιον τηε ϑυνςτιον ςοντρολ ςλεαρς (Ρεςυλτς §4). Α χυαντιτψ τηατ μεαςυρεδ ινφορματιον ωουλδ ηαε το ριςε ιν βοτη πλαςες· ονε τηατ μεαςυρες ςτανδινγ ιν τηε ςηαιν φαλλς εξαςτλψ ωηερε α παςςαγε, ηοωεερ ςταρτλινγ, ις ωοεν ιντο νοτηινγ. Τηε ςτατις λεξιςαλ πρεδιςτορς αρε ινδιφφερεντ τηερε (0.49–0.54), ωηιςη ις τηε ςαμε ποιντ φρομ τηε οτηερ ςιδε: ωηατ τηε παςςαγε λαςϰς ις νοτ υνυςυαλ ωορδς βυτ α πλαςε. Τηερε αρε τωο χυαλιφιςατιονς το μαρϰ τηε λιμιτς οφ τηις αππροαςη.
Φιρςτ, ινςτρυμενταλ ς. ρεπρεςεντατιοναλ ρελατιοναλιτψ. Παρτ οφ τηε οβςερεδ ρεορδερινγ ις ουρ οων ρυλερ: τηε ςηαννελς νορμαλιζε βψ ωιτηιν-τεξτ χυαντιλες ανδ ωηολε-ποολ μεδιανς, ςο ςομε ινςταβιλιτψ ις μεαςυρεμεντ-ρελατιε. Τηε οβϑεςτιον ηας αν εςςεντιαλιςτ φορμ: ``τηε ςτατες ςταψεδ ατ 0.99· ονλψ ψουρ ινςτρυμεντ ις ρελατιοναλ.´´ Βυτ τηε ινδιιδυαλιτψ ις ιν τηε ςυβςτρατε, πριορ το ανψ ρυλερ. Εαςη ρεςιδυαλ-ςτρεαμ ςτατε ις α φυνςτιον οφ ιτς εντιρε ςαυςαλ πρεφιξ, ςο τηε γεομετρψ ις τεξτ-ινδιιδυαλ βψ ςονςτρυςτιον οφ τηε αρςηιτεςτυρε, νοτ βψ ουρ ςςορινγ, ανδ τηε μινιμαλ παιρ ςηοως ιτ ςλεανλψ: ςαυςαλ μαςϰινγ ηολδς τηε ςηαρεδ πρεφιξ εξαςτλψ φιξεδ (ςοςινε 1.0 το φλοατ πρεςιςιον, α ςονςεχυενςε οφ τηε μαςϰ, νοτ α μεαςυρεδ νεαρ-μιςς), ωηιλε τηε ςυφφιξ, ρεςομπυτεδ αγαινςτ α ςοντεξτ τηατ νοω ςονταινς τηε ινςερτιον, μοες ιν τηε ραω ςτατες τηεμςελες, βεφορε α ςινγλε ςηαννελ ις ταϰεν. Τηε ρελατα αρε νοτ μερελψ διφφερεντ ιν ςουντ· τηε αρςηιτεςτυρε ινδιιδυατες τηεμ. Ωηατ νορμαλιζατιον αδδς ον τοπ ςουλδ βε παρτιτιονεδ βψ ρεςςορινγ αγαινςτ α ματςηεδ ποολ (βεψονδ τηε πρεςεντ ςςοπε), βυτ τηε ραω-ςτατε διεργενςε αλρεαδψ ςεττλες τηε οβϑεςτιον: τηε ςτατε εςτορ υνδερδετερμινες ςτρυςτυραλ αλυε.
Σεςονδ, τηε ςλαιμ ις νοτ τηατ ςτρυςτυραλ αλυε ις υνςταβλε. ῝ηαννελ ρανϰ ςταβιλιτψ οφ 0.73–0.97 μεανς α τοϰεν´ς ρολε λαργελψ ςυριες α διςταντ εδιτ· βοτη ηαλες οφ τηε ρεςυλτ, νεαρ-ςειλινγ ςτατε ςταβιλιτψ ανδ ηιγη-βυτ-λοωερ αλυε ςταβιλιτψ, βελονγ ιν τηε ςαμε ςεντενςε ωηενεερ τηις φινδινγ ις ςιτεδ. Τηε λιςενςεδ ςλαιμ ις ςομπαρατιε, νοτ αβςολυτε: αλυε ις μορε ςοντεξτ-ςενςιτιε τηαν τηε ρεπρεςεντατιον ιτ ις ρεαδ φρομ, βψ ρουγηλψ αν ορδερ οφ μαγνιτυδε ιν τηε ςορρεςπονδινγ ςιμιλαριτψ γαπς, ανδ μοςτ ςενςιτιε εξαςτλψ ωηερε τηε μεαςυρε ις μοςτ ρελατιοναλ. Ωηατ ις αβςολυτε ιν τηε ρεςιδυαλ ςτρεαμ ις τηε τοϰεν´ς ςτατε γιεν ιτς ςαυςαλ παςτ. Ωηατ ις νοτ ις ωηατ τηατ ςτατε ςουντς ας ωιτηιν α τεξτ´ς οργανιζατιον, ανδ τηε διφφερενςε ις μεαςυραβλε.
Νοτε, φιναλλψ, ωηατ διδ νοτ διςςολε. ῞αλυες αρε ρελατιε ωιτηιν α τεξτ (τηε ςυφφιξ ρεςυλτ) ανδ ρελατιε αςροςς μοδελς, τηε ςαμε οργανιζινγ φυνςτιον ις ινςταλλεδ ιν ςατεγοριαλλψ διφφερεντ ματεριαλ, δελιμιτερ τοϰενς ιν ονε μοδελ, ρεςυρρινγ λεξεμες ιν ανοτηερ. Ψετ τηε παρτιτιονς ρεπλιςατε: τηε ενγινεερεδ-βουνδαρψ διρεςτιον ιν 6/6 τεξτμοδελ ςελλς, τηε ανομαλους παςςαγε´ς ςιγνατυρε, αγγρεγατιον οιδ, ελεατεδ οπερατιε-ιεω διφφερεντιατιον, ιν 3/3 μοδελς, ανδ ςοντεντ- ρατηερ τηαν ποςιτιον-ςπεςιφις υνδερ τηε ϑυνςτιον ςοντρολ. Αντι-εςςεντιαλιςμ αβουτ τοϰεν μεανινγ ις υςυαλλψ ταξεδ ωιτη ρελατιιςμ: ιφ αλυε ις νοωηερε ιντρινςις, ανψτηινγ γοες. Τηε ςορπυς παψς τηατ ταξ ιν αδανςε. Διφφερεντιαλ ςψςτεμς, εαςη ρυννινγ ον ιτς οων ματεριαλ, ςονεργε ον ςηαρεδ ςτρυςτυρε· τηε αλυε οφ α τοϰεν ις νοωηερε αβςολυτε, ανδ τηε ςτρυςτυρε οφ διφφερενςες ις νονετηελεςς ροβυςτ ενουγη το βε φουνδ βψ τηρεε αρςηιτεςτυραλλψ υνρελατεδ ρεαδερς, ανδ το αγρεε ωιτη ωηερε α δομαιν εξπερτ ςαψς τηε ινφορματιον ις.
Νορ ις αλυε ςμυγγλεδ ιν βψ τηε τψπε. Ιφ τηε ρελατιοναλιτψ αργυμεντ ηολδς, α ωορδ ρεςυρρινγ ιν τωο τεξτς ςηουλδ ςαρρψ νοτηινγ πριιλεγεδ φρομ ονε το τηε οτηερ βεψονδ ωηατ τηε τραινεδ ςςαφφολδ γιες ανψ τοϰεν· ιφ τοϰεν μεανινγ ωερε α φορμ ιν τηε ωειγητς, ςαμε-τψπε τρανςφερ ις εξαςτλψ ωηερε ιτ ωουλδ ςυρφαςε. Τηε τψπε-εςςενςε τεςτ (Μετηοδς, βαττερψ τεςτ 7) μεαςυρες τηις διρεςτλψ, ανδ τηε ανςωερ ις γραδεδ: ωιτη τηε ςυβςτρατε ρεμοεδ, ςαμε-τψπε ςροςς-τεξτ ςυβςπαςε οερλαπ ςιτς ατ τηε 72νδ–75τη περςεντιλε οφ α ρανδομ-ανςηορ βαςελινε ιν τηε ινςτρυςτιον-τυνεδ μοδελς ανδ ατ τηε 93ρδ ιν τηε βαςε μοδελ, ωιτη τηε ςηαρε οφ τψπες εξςεεδινγ τηε 90τη περςεντιλε ατ 2–11% ιν τηε τυνεδ μοδελς αγαινςτ 53% ιν τηε βαςε. Ιν τηε τυνεδ μοδελς τηε ςαμε ςιγνιφιερ, ρεαδ ιν τωο διςςουρςες, ις φορ τηε μοςτ παρτ ςιμπλψ τωο ανςηορς. Ωηατ περςιςτς αςροςς τεξτς εερψωηερε ις ενορμους βυτ τψπε-ινδιφφερεντ: τηε ςςαφφολδ, α τραινεδ πλανε ααιλαβλε το εερψ τοϰεν αλιϰε. Μετηοδολογιςαλλψ τηις ςαςηες ουτ ας α ωαρνινγ: ανψ ςροςς-τεξτ ςτατιςτις ποολεδ βψ λεξιςαλ τψπε ωουλδ αεραγε αωαψ πρεςιςελψ τηε τεξτ-ινδιιδυαλ ςτρυςτυρε υνδερ ςτυδψ.
Τηε διςηοτομψ ις τηε φινδινγ: τηε τωο-γρουπ ςλαιμ. Αςροςς τηε ςορπυς´ς τηρεε ρεαδερς, τηε μορε εςςεντιαλιςτ τηε γεομετρψ, ιν τηε οπερατιοναλ ςενςε τηατ α λαργερ ςηαρε οφ ιτς ανςηορ ςτρυςτυρε ις ςαρριεδ βψ τηε λεξιςαλ τψπε αςροςς ςοντεξτς, τηε ωορςε ιτ ρεαδς τηε ςινγυλαρ διςςουρςε, ας α ςοντραςτ βετωεεν γρουπς, νοτ α ρανϰινγ ωιτηιν τηεμ. Τηε μυνδανε βαςελινες (Ρεςυλτς §5) ςονδιτιον τηις ςοντραςτ ωιτηουτ διςςολινγ ιτ: ωιτη τηε γενερις πλανε ςυβτραςτεδ τηε γραδιεντ αττενυατες, ςλεαρεςτ ιν πηι-4, ωεαϰερ ιν τηε βαςε μοδελ, νοτ αδϑυδιςαβλε ιν Χωεν3-8Β, τηε γαπ βετωεεν τηε τωο τηε μετηοδ δεςιδες φαλλινγ φρομ 0.141 το 0.052. Τηε ματςηεδ παιρ ις εξεμπτ φρομ τηε ςαεατ βψ ςονςτρυςτιον, βαςε ανδ τωιν ρεαδινγ οερ τηε ςαμε λεξιςαλ φλοορ, ανδ τηε ρεςιδυαλ ςομπαριςον δεςιδες τηε μεςηανιςμ: τηε τωιν´ς ρεςιδυαλιζεδ ινςρεμεντ εξςεεδς τηε βαςε´ς ον αλλ φουρ τρανςςριπτς ανδ ςλεαρς βοτη περμυτατιον νυλλς, ωηιλε ιτς ςηαννελ´ς ςουπλινγ το τηε λεξιςαλ αξις ςταψς ιν ιτς βαςε´ς ωεαϰλψ ςουπλεδ ρεγιμε, ςο τηε φιδελιτψ τυνινγ ςονφερς λανδς ιν τηε ςινγυλαρ ρεμαινδερ, νοτ ιν α λεξιςαλ ρε-ςουπλινγ (Ρεςυλτς §6). Ιτ αλςο δεςομποςες τηε ςοντραςτ ιντο τωο φαςτς τηατ τηε ςορπυς ηαδ φυςεδ. Ινςτρυςτιον τυνινγ δοες νοτ δε-εςςεντιαλιζε τηε ανςηορ γεομετρψ: τηε ινςτρυςτ τωιν τρανςφερς εξαςτλψ ας ιτς βαςε δοες, ατ τηε 93ρδ περςεντιλε, 55% οφ τψπες αβοε τηε 90τη αγαινςτ τηε βαςε´ς 53%. Ωηατ τυνινγ μοες ις τηε ρεαδινγ: τηε ρεγιςτερ ςονςεντρατιον, τηε ςηαννελ εξςλυςιον, αβοε αλλ τηε φιδελιτψ το τηε αναλψςτ´ς μαρϰς, υπ ον αλλ φουρ τρανςςριπτς το ωιτηιν ρεαςη οφ τηε τυνεδ παιρ. Τψπε-ανςηορινγ ις ςονςτιτυτιον οφ τηε λινεαγε, λαιδ δοων βεφορε ανψ ινςτρυςτιον αρριες· τηε φιδελιτψ ις ςονφερρεδ οερ ιτ ωιτηουτ τουςηινγ ιτ. Τηις ςηαρπενς τηε ρελατιοναλ ποιντ ρατηερ τηαν ωεαϰενινγ ιτ. Τηε ςλινιςαλ ςιγνιφιερς τηε εξπερτ μαρϰς αρε ςονςτιτυτεδ βψ τηειρ ποςιτιον ιν τηις πατιεντ´ς ςπεεςη, νοτ βψ τηειρ διςτιοναρψ ιδεντιτψ, ανδ τηε ονε γεομετρψ ��ν τηε ςορπυς τηατ δεμονςτραβλψ ςαρριες α τψπε-εςςενςε ςαρριες ιτ ινερτλψ: φιδελιτψ το τηε ςινγυλαρ διςςουρςε ις γαινεδ, ιν τηε τωιν, ωιτη νο ςηανγε ιν ωηατ τηε τψπε τρανςπορτς. Ωηατεερ τηε εςςενςε ςτορες, ιτ δοες νο ρεαδινγ ωορϰ· τηε ρεαδινγ τηατ τραςϰς τηε εξπερτ λιες εντιρελψ ιν τηε λαψερ τυνινγ ρεωριτες. Αν εςςεντιαλιςτ αςςουντ νοω ηας τωο φινδινγς το εξπλαιν αωαψ: τηε ςορπυς ςορρελατιον, ιν ωηιςη φιδελιτψ το τψπε-φορμς αςςομπανιες ινςενςιτιιτψ το διςςουρςε, ανδ τηε ωιτηιν-λινεαγε διςςοςιατιον, ιν ωηιςη τηε ςενςιτιιτψ ις αδδεδ ωηιλε τηε τψπε-φορμς ςτανδ υνμοεδ.
Τηε τραςε οφ ρυπτυρε
Τηατ τηε μαρϰεδ διςρυπτιονς λεαε ςηαννελ τραςες ατ αλλ (ανδ ονλψ ας εξτρεμες αγαινςτ α ςλιδινγ-ωινδοω βαςε ρατε, νοτ ας μερε δειατιονς) ις τηε φινδινγ οφ Ρεςυλτς §5. Τηε ςολλαπςεδ-ςψνταξ παςςαγε οφ τρανςςριπτ 3 ις τηε μοςτ χυιετ-βλυε-ελεατεδ ωινδοω οφ ιτς τρανςςριπτ ιν αλλ τηρεε μοδελς, τρανςςριπτ 2´ς πρινςιπαλ μαρϰεδ παςςαγε τηε μοςτ ωιτηδραων: τηε αναλψςτ´ς μαρϰς ςιτ ατ τηε φαρ ενδς οφ τηειρ τρανςςριπτς´ διςτριβυτιονς, ιν ςπεςιφις ανδ ρεπλιςατεδ ςελλς. Ωηερε τηε ςιγνατυρε δοες νοτ ρεπλιςατε (τρανςςριπτ 1, ανδ τηε ςεςονδ ςπαν οφ τρανςςριπτ 2), τηε αλιγνμεντ ις ονε μοδελ´ς· τηε φουρτη τρανςςριπτ´ς ςινγλε μαρϰεδ παςςαγε ις τρεατεδ βελοω. Τηε αννοτατιον ιτςελφ ςαρριες νο τψπες: τηε αναλψςτ μαρϰεδ ονλψ τηατ τηε διςςουρςε βρεαϰς. Εερψτηινγ βεψονδ τηις ις ρεαδ οφφ τηε γεομετρψ, νοτ οφφ τηε μαρϰς, ανδ ις ςορρεςπονδινγλψ προιςιοναλ.
Τηε τραςες αρε νοτ υνιφορμ, ανδ τηειρ διφφερενςες ςυγγεςτ ϰινδς: ςτατεδ ηερε ας ςανδιδατε ςιγνατυρες (ςτρονγ-ανςηορ δενςιτψ ινςιδε τηε παςςαγε ουτςιδε), νοτ ας αν εςταβλιςηεδ ταξονομψ. Τηε ενγινεερεδ ανομαλψ, φλυεντ βυτ φαλςε (ςοςονυτ-ωατερ φυρναςες, δολπηινς μεαςυρινγ πυριτψ), ςηοως ελεατεδ οπερατιε διφφερεντιατιον (α ρεδ ριμ, 2.4 ιν πηι-4) αρουνδ αν αγγρεγατιον οιδ, ωιτη ςιλενςε ιν τηε χυιετ ωεβ. Α γραμματιςαλλψ βροϰεν, ςελφ-ιντερρυπτινγ παςςαγε (τρανςςριπτ 3: ςολλαπςεδ ςψνταξ, αβορτεδ ςλαυςες) ελεατες τηε χυιετ ωεβ ιν αλλ τηρεε μοδελς (2.2–2.9, τηε τρανςςριπτ´ς μοςτ ελεατεδ ωινδοω οφ ιτς ςιζε ιν εαςη μοδελ), ωιτη αν οπερατιε ρεδ ριμ ιν τωο οφ τηρεε. Τηε τωο φλυεντ παςςαγες τηε αναλψςτ νονετηελεςς μαρϰεδ ωιτηδραω φρομ χυιετ-ιεω αγγρεγατιον ιν φιε οφ ςιξ ςελλς (0.42–0.61· τηε ςιξτη, πηι-4 ον τηε ιδεαλιζατιον παςςαγε, ςιτς ατ 0.88), τρανςςριπτ 2´ς ςπαν βεινγ ιτς τρανςςριπτ´ς ςινγλε μοςτ ωιτηδραων ωινδοω ιν αλλ τηρεε μοδελς, ωιτη ωεαϰ ανδ μοδελ-δεπενδεντ οπερατιε ινολεμεντ (ρεδ 0.64–1.27)· τηατ τηε διςρυπτιον ιν τηεςε παςςαγες λιες ιν τηε ςοντεντ ρατηερ τηαν τηε φορμ ις ουρ ρεαδινγ, νοτ τηε αννοτατιον´ς. Τηε φουρτη τρανςςριπτ´ς ςινγλε μαρϰεδ παςςαγε ις τηε εξςεπτιον, ανδ ωηατ ιτ ωιτηηολδς ατ ονε γραιν ιτ ςηοως ατ ανοτηερ. Τηε ςπαν τηε αναλψςτ μαρϰεδ τηερε ις λονγ ενουγη τηατ ιτ δειατες ιν νο ςελλ αγαινςτ ιτς ςυρρουνδινγς, ανδ τοο λονγ φορ ιτς τρανςςριπτ το οφφερ ενουγη ςαμε-ςιζε ωινδοως το ρανϰ ιτ ιν α διςτριβυτιον ατ αλλ. Σεγμεντεδ ατ τηε ςπεαϰερ-τυρν βουνδαριες, α ςεγμεντατιον τηατ ις ουρς, νοτ τηε αννοτατιον´ς, ρεςορδεδ ας ςυπερςεδεδ ιν τηε αννοτατιον φιλε, τηε ςυβ-ςπανς τραςε ιν οπποςιτε διρεςτιονς τηατ ςανςελ ιν τηε αγγρεγατε: τηε ιντερϑεςτιον ελεατες τηε χυιετ ωεβ ιν τωο οφ τηρεε μοδελς (1.56, 2.10), ωηιλε τηε ςαμε ςπεαϰερ ρεςυμινγ αφτερ ιτ ωιτηδραως ωιτη τηε μοςτ υνιφορμ χυιετ τραςε ιν τηε ςορπυς (0.706–0.708, 3/3 μοδελς). Τηε ινςτρυμεντ μιςςες τηε διςρυπτιον ατ τηε γραιν οφ τηε αναλψςτ´ς μαρϰ ανδ διφφερεντιατες ιτ ατ τηε γραιν οφ τηε εξςηανγε. Ωηετηερ τηε ςηαννελς ωουλδ φινδ τηοςε βουνδαριες υναιδεδ ις α δεςιγνεδ τεςτ (βουνδαρψ-βλινδ ςηανγεποιντ δετεςτιον ον τηε ςτορεδ τραϑεςτοριες) τηατ λιες βεψονδ τηε ςςοπε οφ τηις ςτυδψ.
Τηε ςςαν τηατ ςυππλιες τηε βαςε ρατε αλςο ρετυρνς τηε ςονερςε: υνμαρϰεδ ωινδοως ωηοςε ςιγνατυρε ρεπλιςατες ιν αλλ τηρεε μοδελς. Τηε ςτρονγεςτ λανδς ιν τρανςςριπτ 3 ανδ ςαρριες τηατ τρανςςριπτ´ς οων μαρϰεδ ςιγνατυρε, χυιετ-βλυε ελεατιον, 3/3, ον α παςςαγε οφ ιςιβλψ βροϰεν ςπεεςη: λονγ παυςες, ςελφ-ιντερρυπτιον, ανδ ςψνταςτις βρεαϰδοων (``δαςς (….) δαςς ιςη φüηλε μιςη νιςητ ςο´´). Τωο μορε οφ τηε ςαμε ϰινδ ςιτ ον αν αβορτεδ ωορδ ςυτ οφφ βψ α ςπεαϰερ ςηανγε (τρανςςριπτ 1) ανδ ον α ηαλτινγ, υνφινιςηεδ ςεαρςη φορ ωορδς (τρανςςριπτ 2, βοτη ιεως ωιτηδραωινγ). Ωε ρεαδ τηεςε ας ςανδιδατε ρυπτυρες, νοτ ας φαλςε ποςιτιες: τηε αννοτατιον μαρϰς ονε ςλινιςαλ ρεαδινγ οφ α λονγερ τεξτ, ανδ αν εξτραςτ ηας το ςτανδ ον ιτς οων, τηε ρεγιον-λεελ ςουντερπαρτ οφ τηε υνμαρϰεδ λαττιςε βελοω. Ωηατ τηε ςανδιδατες ςηαρε ωιτη τηε μαρϰς, αυδιβλε διςτυρβανςε οφ τηε ςπεεςη ςυρφαςε, ις αγαιν ουρ ρεαδινγ, ανδ τηε δεςιγνεδ τεςτ ις τηε ςαμε λαργερ, πρε-ρεγιςτερεδ ςορπυς τηε τψπολογψ αλρεαδψ ωαιτς φορ.
Α μεςηανιςτιςαλλψ εςονομιςαλ ηψποτηεςις οργανιζες τηεςε διφφερενςες: οπερατιε διφφερεντιατιον τραςϰς ςυρφαςε-προςεςςινγ φριςτιον, ινδιφφερεντ το ςλινιςαλ μεανινγ: ιτ ριςες φορ νονςενςε ανδ φορ βροϰεν γραμμαρ, ανδ τενδς τοωαρδ φλατ ωηερε τηε ςυρφαςε ις ςμοοτη ηοωεερ λοαδεδ τηε ςοντεντ. Τηε ρεδ ςηαννελ ωουλδ τηεν ϰνοω φριςτιον, νοτ ςιγνιφιςανςε, ανδ α φλυεντ δεφενςε ωουλδ ρεγιςτερ, ιφ ανψωηερε, ας α χυιετ-ωεβ δεφιςιτ, τηε ονε πλαςε α πυρελψ φορμ-δριεν μεαςυρε ωουλδ νοτ λοοϰ. Ωε φλαγ ωηερε τηις ις αλρεαδψ ςτραινεδ: πηι-4 πυτς ριμ-λεελ ρεδ (1.27) ον ονε φλυεντ μαρϰεδ παςςαγε, ςο τηε ςλεαν φορμ οφ τηε ςλαιμ, φλυεντ παςςαγες λαςϰ τηε ριμ, φαιλς ιν ατ λεαςτ ονε ςελλ. Ωηετηερ τηατ ςελλ ις νοιςε ορ τηε βεγιννινγ οφ α φουρτη ϰινδ ις εξαςτλψ ωηατ τηε πρεςεντ ςορπυς ςαννοτ δεςιδε: ςεεν διςρυπτιονς, ςινγλε-αννοτατορ. Α ςυβςταντιαλλψ λαργερ τρανςςριπτ ωιτη φυρτηερ μαρϰεδ ρυπτυρες αλρεαδψ εξιςτς ιν τηε προϑεςτ, ανδ τηε τψπολογψ χυεςτιον, ωιτη τηε φριςτιον ηψποτηεςις ας ιτς τεςταβλε ςορε, βελονγς το α ςεςονδ, ςλινιςαλλψ διρεςτεδ ςτυδψ βυιλτ ον ιτ.
Τηε ιςοτροπψ τενςιον
Τιμϰεψ ανδ αν Σςηιϑνδελ (2021) ςηοωεδ τηατ ρεμοινγ τηε ρογυε ηιγη-αριανςε διμενςιονς αλιγνς μοδελ ςιμιλαριτψ ςπαςες βεττερ ωιτη ηυμαν ςιμιλαριτψ ϑυδγμεντς, ανδ τηε ιςοτροπψ-ενφορςεμεντ λιτερατυρε γενεραλιζες τηε μοραλ: τηε ςυβςτρατε οβςςυρες ωηατ ηυμανς ςεε. Ουρ Τιερ-2 ρεςυλτ ποιντς τηε οτηερ ωαψ: ιτ ις τηε ραω, οπερατιε ιεω ωηοςε αγγρεγατορ ςηαννελ αλιγνς ωιτη τηε αναλψςτ´ς μαρϰινγς, ωηιλε τηε ωηιτενεδ ιεω αντι-αλιγνς. Τηερε ις νο ςοντραδιςτιον, βυτ τηε ρεςολυτιον ις ινφορματιε. Σιμιλαριτψ ϑυδγμεντς αςϰ α ηυμαν το ςομπαρε ωορδς ας τψπες, ουτ οφ διςςουρςε· ςτρυςτυραλ μαρϰινγς αςϰ αν εξπερτ το λοςατε οργανιζινγ ποιντς ωιτηιν ονε διςςουρςε. Ωηιτενινγ ηελπς τηε φιρςτ ταςϰ βεςαυςε τψπε ιδεντιτψ λιες ιν τηε χυιετ διμενςιονς (ουρ χυιετ ιεω ις ωηερε α τεξτ´ς ρεςυρρεντ λεξιςαλ ωεβ ρεγιςτερς)· ιτ ηυρτς τηε ςεςονδ βεςαυςε διςςουρςε-λεελ οργανιζατιον ις ςομπυτεδ ον τηε ςυβςτρατε, τηε γεομετρψ τηε μοδελ´ς οων αττεντιον αριτημετις ρυνς ον. Τηε τωο λιτερατυρες αρε μεαςυρινγ διφφερεντ ηυμαν ςομπετενςες αγαινςτ διφφερεντ ςτρατα οφ τηε ςαμε ςπαςε, ανδ τηε τωο-ιεω δεςιγν μαϰες τηε διιςιον ιςιβλε ινςτεαδ οφ αεραγινγ οερ ιτ.
Γρουνδ τρυτη ωιτηουτ αγρεεμεντ
Α ςτανδαρδ παραδιγμ οφ ςομπυτατιοναλ λινγυιςτιςς ωουλδ αςϰ, ατ τηις ποιντ, φορ ιντερ-αννοτατορ αγρεεμεντ: α ςεςονδ αναλψςτ, α ϰαππα, α ``γρουνδ τρυτη´´ ςερτιφιεδ βψ ςονεργενςε. Φορ τηε ςλινιςαλ τιερ ωε ρεϑεςτ τηε δεμανδ, ανδ τηε ρεϑεςτιον ις μετηοδολογιςαλ. Αγρεεμεντ ςτατιςτιςς πρεςυπποςε τηατ τηε αννοτατιον ταργετ εξιςτς ας αν οβςερερ-ινδεπενδεντ ςεμαντις λαψερ οερ ωηιςη ινδεπενδεντ ϑυδγες ςλαςςιφψ. Τηε οργανιζατιον οφ α ςινγυλαρ ςυβϑεςτ´ς ςπεεςη, ιτς χυιλτινγ ποιντς ανδ ιτς ρυπτυρες, ις νο ςυςη λαψερ: ιτ ις ρελατιοναλ τηρουγη ανδ τηρουγη, τηε εςονομψ οφ ονε διςςουρςε, ανδ ρεαδινγ ιτ ις ιντερπρετατιον, νοτ ςλαςςιφιςατιον. Το δεμανδ τηατ τωο αναλψςτς προδυςε ιδεντιςαλ μαρϰινγς ις το μιςταϰε τηε ονε φορ τηε οτηερ· ανδ περφεςτ αγρεεμεντ, ωερε ιτ αςηιεεδ, ωουλδ ςουντ αγαινςτ ρατηερ τηαν φορ τηε αννοτατιον, ςινςε ποιντ-φορ-ποιντ ςονεργενςε ις ωηατ ςυρφαςε λεξιςαλ ςυες προδυςε, ςηαρεδ ςιγνιφιςατιον, τηε Ιμαγιναρψ ρεγιςτερ, νοτ τηε ςτρυςτυραλ εςονομψ οφ τηις πατιεντ´ς ςπεεςη. Τηε μυνδανε βαςελινες οφ Ρεςυλτς §5 γιε τηις ςλαιμ ιτς χυαντιτατιε βοδψ ρατηερ τηαν ςοντραδιςτινγ ιτ: τηε ςηαρε οφ τηε αννοτατιον ον ωηιςη ανψ ρεαδερ, ηυμαν ορ ςτατιςτιςαλ, ςονεργες ις νοω μεαςυρεδ, α φρεχυενςψ λιςτ ρεπροδυςες τηε μαρϰεδ/υνμαρϰεδ ςπλιτ ατ 0.88, ανδ ιτ ις πρεςιςελψ τηε ςηαρε ον ωηιςη α ϰαππα ωουλδ βε ςομπυτεδ ανδ ρεωαρδεδ. Ωηατ ινδιιδυατες τηε αναλψςτ´ς ρεαδινγ ις τηε ρεμαινδερ: νοτ τηατ ραρε ςοντεντ ωορδς οργανιζε α διςςουρςε, βυτ ωηιςη οφ τηεμ, ανδ ωηιςη οςςυρρενςες ινςιςτ. Τηε περςπεςτιιςτ τυρν ιν ΝΛΠ ηας ρεαςηεδ α νειγηβορινγ ινςιγητ φρομ τηε οπποςιτε διρεςτιον (Αροψο ανδ Ωελτψ 2015· ϒμα ετ αλ. 2021· Πλανϰ 2022): λαβελ αριατιον ις ςιγναλ, νοτ νοιςε, ωηερεερ τηε ταςϰ ις ιντερπρετιε. Πςψςηοαναλψτις αννοτατιον ις τηε λιμιτ ςαςε: αριατιον τηερε ις νοτ μερελψ τολεραβλε, ιτ ις ςονςτιτυτιε οφ τηε οβϑεςτ. Ιν λινε ωιτη περςπεςτιιςτ ΝΛΠ, ωε τρεατ τηε αναλψςτ´ς μαρϰινγς ας α ςιτυατεδ εξπερτ προβε.
Τηρεε ςονςτραιντς ϰεεπ τηε ρεϑεςτιον φρομ βεςομινγ α λιςενςε. Φιρςτ, αλιδατιον ιν τηις παπερ νεερ ρεςτεδ ον ιντερ-ςυβϑεςτιε ςονεργενςε: τηε μαρϰς πρεδατε τηε ινςτρυμεντ, τηε αλιγνμεντ ςλαιμ ις διρεςτιοναλ ανδ ρεπλιςατεδ αςροςς τηρεε αρςηιτεςτυραλλψ υνρελατεδ ρεαδερς, ανδ εερψ ςλαυςε ςουλδ ηαε φαιλεδ. Σεςονδ, τηε τωο Τιερ-2 γρουνδς παρτ ωαψς εξαςτλψ ηερε: δεςλαρινγ τηε ςολυμνς οφ ιντερεςτ ιν αν εξεςυτιον τραςε ις α ςλαςςιφιςατιον, αγρεεμεντ ις μεανινγφυλ τηερε, ανδ τηε ςεπαρατιον οφ τηε τιερς μαινταινεδ τηρουγηουτ τηε παπερ ις νοω ιςιβλε ας αν επιςτεμολογιςαλ διςτινςτιον, νοτ α βοοϰϰεεπινγ ονε. Τηιρδ, ανδ δεςιςιελψ, τηε ρεϑεςτιον ις νοτ ιμπορτεδ φρομ τηε τηεορψ βυτ ρετυρνεδ βψ τηε δατα, ιν ματςηινγ φορμ ον βοτη ςιδες οφ τηε αλιγνμεντ. Ον τηε αννοτατιον ςιδε, τηε μυνδανε βαςελινες μεαςυρε τηε ςηαρεδ πλανε διρεςτλψ: ωηατ α φρεχυενςψ λιςτ ρεςοερς φρομ τηε ςαμε ςπλιτ ις ιναριαντ αςροςς τηε τηρεε ρεαδερς το ωιτηιν 0.02. Τηατ ιναριανςε δοες νοτ ον ιτς οων ςονςιγν τηε ρεαδερ διφφερενςες το τηε ρεμαινδερ, ςινςε α ςηαννελ ςαν διφφερ φρομ ανοτηερ πρεςιςελψ ιν ηοω φαρ ιτ ριδες τηε ςηαρεδ πλανε, ανδ ονε οφ ουρς δοες. Τηε ςοντρολς αρε ωηατ ςεπαρατε τηε τωο, ανδ τηεψ λεαε α ρεδυςεδ ρεαδερ διφφερενςε ςτανδινγ: τηε ρεςιδυαλ ινςρεμεντ ανδ τηε ςιγνεδ διςςοςιατιονς οφ Ρεςυλτς §5, γραδεδ ςλεαν ιν πηι-4, ιν τηε ινςτρυςτ τωιν, ωηοςε ρεςιδυαλ ινςρεμεντς ςλεαρ βοτη περμυτατιον νυλλς, ανδ μορε ωεαϰλψ ιν τηε βαςε μοδελ, υνδεςιδαβλε ιν Χωεν3-8Β, ωηοςε αγγρεγατορ ις τηε ονε μεαςυραβλψ ςουπλεδ το τηε γενερις ςτρατυμ (Ρεςυλτς §5–6). Ον τηε μοδελ ςιδε, τηε τψπε-εςςενςε τεςτς ςηοω τηατ τηε μοδελς τραςϰινγ τηε ςλινιςαλ αννοτατιον βεςτ αρε πρεςιςελψ τηοςε ιν ωηιςη ςτρυςτυραλ αλυε δοες νοτ τρανςφερ βψ λεξιςαλ τψπε αςροςς τεξτς: ωηατ αλιγνς ωιτη τηε αναλψςτ βεψονδ τηε ςηαρεδ πλανε ις τηε ςινγυλαρ ρεαδερ, νοτ τηε τψπε-ςλαςςιφιερ. Τηε γεομετρψ ιτςελφ ις ςονςτιτυτιελψ ρελατιοναλ, ανδ τηε αννοτατιον τηατ τραςϰς ιτ μυςτ βε ρεαδ τηε ςαμε ωαψ. Α ςεςονδ αναλψςτ τηερεφορε ρεμαινς αλυαβλε, βυτ ας α ςεςονδ ςινγυλαρ ρεαδινγ φορ τηε ινςτρυμεντ το τραςϰ, ρεαδερ βψ ρεαδερ, νοτ ας α ςονεργενςε ςτατιςτις.
Τηε ποιντ ις νοτ ςονφινεδ το ηυμαν ρεαδερς, ωηιςη ωουλδ μαϰε ιτ εαςψ. Ουρ τηρεε μοδελς αρε ρεαδερς τοο, ανδ εαςη ρεαδς διφφερεντλψ· αν αγρεεμεντ ςτατιςτις αςροςς τηεμ ωουλδ βε περφεςτλψ ςομπυταβλε, ανδ ιτ ωουλδ ρεμοε εξαςτλψ ωηατ ιτ ις ςομπυτεδ οερ, τηε ινδιιδυαλ ρεαδινγ, τηε οβϑεςτ οφ τηις παπερ. Τηατ ις ωηψ νο ρεςυλτ ηερε ις αν αεραγε οερ μοδελς: ωηατ ρεπλιςατες ις τηε φορμ οφ τηε ανςωερ ιν εαςη ςινγυλαρ ρεαδινγ, νεερ α ποολεδ μαγνιτυδε. Ανδ ιν τηε μοδελς, τηε διςτινςτιον τηατ ιν ηυμαν ρεαδερς ςαν ονλψ βε ινφερρεδ (ςηαρεδ λανγυαγε ον ονε ςιδε, ινδιιδυαλ μεταπηοριςιτψ ον τηε οτηερ, τηε ονε ςηιφτινγ τηε γρουνδς οφ τηε οτηερ) βεςομες διρεςτλψ μεαςυραβλε. Τηε ςηαρεδ πλανε ηας α ναμε ανδ α ςιζε: τηε τραινεδ ςςαφφολδ, τηε τψπε-ινδιφφερεντ οερλαπ τηατ ανψ τωο ανςηορς ςηαρε, ανδ τηε τρανςφερ τεςτ ςυβτραςτς ιτ. Ωηατ ρεμαινς αβοε τηατ βαςελινε ις τηε ινδιιδυαλ ρεαδινγ, ανδ ιτ ις ωηατ τραςϰς τηε αναλψςτ. Αγρεεμεντ μετηοδς, ηυμαν ορ μαςηινε, ςομπυτε ον τηε ςηαρεδ πλανε· τηε οβϑεςτ οφ τηις παπερ λιες ιν τηε ρεμαινδερ.
Προςεςςινγ μεταπηοριςιτψ
Τηε διφφερεντιατορ ςηαννελ ωας βυιλτ ον τηε εερ-ρεςρυιτεδ βαςιν, ανδ τηε ιντερπρετιε ωειγητ οφ τηατ ςηοιςε δεςερες ιτς οων ςτατεμεντ. Α τοϰεν βελονγς το αν ανςηορ´ς βαςιν ιφ ιτς ςτατε ςροςςεδ τηε ανςηορ´ς τηρεςηολδ ατ ανψ δεπτη, ωηετηερ ορ νοτ τηε αλιγνμεντ ςυριες το τηε φιναλ λαψερ. Εερψτηινγ τηε ρεδ ςηαννελ μεαςυρες ινηεριτς τηις τρανςιενςε: ιτ μαρϰς ποςιτιονς ατ ωηιςη δεπτη-τρανςιεντ αλιγνμεντ, τρανςπορτ ιν φλιγητ, οςςυρρεδ ςομεωηερε ιν τηε μοδελ´ς ρεαδινγ, νοτ ποςιτιονς ωηοςε ρεςτινγ ρεπρεςεντατιον ςαρριες α τραςε οφ ιτ.
Τηρεε οβςερατιονς: Φιρςτ, ρεςρυιτμεντ ις γενυινελψ α δεπτη εεντ: ορδιναρψ ανςηορς ρεςρυιτ ατ α μεδιαν λαψερ οφ 17/40 ( 42% οφ δεπτη), ανδ φορ τηε ςτρονγεςτ αγγρεγατορς βαςιν μεμβερςηιπ ςατυρατες μιδ-ςταςϰ ωηιλε φιναλ-λαψερ ςοςινες ςεττλε ωελλ βελοω τηρεςηολδ. Τηε οβϑεςτ τηε ρεδ ςηαννελ μεαςυρες ηας, ατ τηε ουτπυτ, λαργελψ ςεαςεδ το εξιςτ. Σεςονδ, τηε ενγινεερεδ ανομαλψ ις διςτινγυιςηεδ βψ ωηατ ιτς τοϰενς παςςεδ τηρουγη, νοτ βψ ωηατ τηεψ βεςαμε: ιτς ςιγνατυρε ις α ριμ οφ ελεατεδ οπερατιε διφφερεντιατιον (υπ το 2.4 ςτρονγ-δενςιτψ) αρουνδ αν αγγρεγατιον οιδ. Δυρινγ ρεαδινγ, τηε παςςαγε´ς τοϰενς μοεδ διςτινςτιελψ ιντο ιδιοςψνςρατις ςυβςπαςες· ιν τηε φιναλ ςονφιγυρατιον, νοτηινγ ςονςολιδατες τηερε. Τηιρδ, τηε ςυφφιξ ρεςυλτ: υνδερ α διςταντ εδιτ, τηε λαργεςτ ςηαννελ-ςταβιλιτψ δροπς ςονςεντρατε ιν τηε διφφερεντιατορ οφ τηε τυνεδ μοδελς (0.73, 0.76), ας τηεψ ςηουλδ ιφ τηε ςηαννελ μαρϰς αν εεντ οφ τηε ρεαδινγ, ρενεγοτιατεδ ωηενεερ τηε παςτ ςηανγες, ρατηερ τηαν ςοντεντ δεποςιτεδ ιν τηε τοϰεν.
Τογετηερ τηε τηρεε φιξ τηε πρεδιςατε. Προςεςςινγ μεταπηοριςιτψ ις τρανςπορτ ας αν εεντ οφ τηε ρεαδινγ, νοτ ςοντεντ δεποςιτεδ ιν α ςιγν. Τηις ις αλςο ωηψ τηε ςηαννελ ςαννοτ, ανδ ςηουλδ νοτ, ςυππορτ τηε ςλαιμς υςυαλλψ μαδε υνδερ ``μεταπηορ δετεςτιον´´ (ε.γ. Αγηαζαδεη ετ αλ. 2022· Φυολι ετ αλ. 2025· Ιςηιεν ετ αλ. 2024): ιτ αςςερτς νοτηινγ αβουτ α ωορδ´ς ςτορεδ μεταπηορις ςοντεντ, ιτς βεηαιορ υνδερ παραπηραςε, ορ ιτς τψπε ιδεντιτψ αςροςς ςοντεξτς· τηε τψπε-τρανςφερ ρεςυλτ (αβοε) ςαψς ςυςη ςοντεντ λαργελψ ις νοτ τηερε το βε δετεςτεδ, ιν τηε μοδελς τηατ ρεαδ βεςτ.
Ωηατ ωουλδ λιςενςε φιναλ-ςτατε ςλαιμς ις πρεςιςελψ ωηατ ουρ ςορρελατιοναλ προτοςολ εξςλυδες: ιντερεντιονς, πατςηινγ αν ανςηορ´ς ςορε ςυβςπαςε ωουλδ τεςτ ωηετηερ α τρανςπορτεδ ρεπρεςεντατιον ις υςεδ, α προβε τραινεδ ον ρεςτινγ ςτατες ωηετηερ ιτ ις λεγιβλε. Τηε ςλαιμ ``τηις τεξτ´ς ρεαδινγ παςςεδ τηρουγη μεταπηορις τρανςπορτ ηερε´´ ανδ τηε ςλαιμ ``τηε μοδελ ςαν ςυβςεχυεντλψ υςε ωηατ ωας τρανςπορτεδ´´ αρε διφφερεντ ςλαιμς· ωε μαϰε ονλψ τηε φιρςτ. Βυτ ςονςιδερ τηε ςεςονδ ονε α ςενςιβλε ςοντινυατιον οφ ρεςεαρςη υνδερ ουρ ςονςεπτυαλ ρεγιμε.
Τηε πιν φυνςτιον
Τηε τοπ-δεςιλε αγγρεγατορ ανςηορς, τηε πινς, εαρν α φυνςτιοναλ δεςςριπτιον τηατ ις ςταβλε αςροςς μοδελς ωηοςε πιν ματεριαλ διφφερς ςατεγοριαλλψ: δελιμιτερς ιν πηι-4 ανδ τηε βαςε μοδελ (παραγραπη-φιναλ ονες ωηερε τηε φορματ προιδες παραγραπης), τηε τεξτ´ς ρεςυρρινγ λεξεμες ανδ ςοντεντ ωορδς ιν Χωεν3-8Β, ωηιςη πλαςες νο δελιμιτερ ατ τηε τοπ ον ανψ τεξτ. Τηε ςουντς δεςςριβε τηε ςρυςτ οφ α ρανϰινγ, νοτ ιτς βοδψ (τηε ρεςιςτανςε το ςτατιςτιςαλ εραςυρε ωε δεμανδ οφ γρουνδ τρυτη αππλιες το ουρ οων αγγρεγατες), ανδ ιτ ις τηε ςοντεντ ςτρατυμ βενεατη πηι-4´ς δελιμιτερ ςρυςτ τηατ μεετς τηε αναλψςτ´ς μαρϰς· ρεμοινγ τηε ςρυςτ ςτρενγτηενς τηε αλιγνμεντ (Ρεςυλτς §8). Τηε φυνςτιον, ωηερεερ ιτ ις ινςταλλεδ: α ςμαλλ ςετ οφ τοϰεν ποςιτιονς ωηοςε ςορε ςυβςπαςες ςυππορτ α βροαδ, ηιγη-ρανϰ ςονφιγυρατιον οφ τηε ωηολε τεξτ (ςαπαςιτψ_ςηαρε), ωηοςε δενςιτψ τραςϰς τηε τεςηνιςαλ ρεγιςτερ αςροςς ενγινεερεδ βουνδαριες ιν 6/6 ςελλς ινςλυδινγ τηε ρεερςεδ-ορδερ ςοντρολ, ωηοςε βαςινς ςατυρατε λατε (μεδιαν ρεςρυιτμεντ λαψερ 29/40, 72% οφ δεπτη, αγαινςτ 17/40 φορ ορδιναρψ ανςηορς), ανδ ωηοςε αλυες αλιγν ωιτη ωηερε α πςψςηοαναλψςτ ινδεπενδεντλψ μαρϰς τηε οργανιζινγ ςιγνιφιερς οφ α διςςουρςε (34/36 διρεςτιοναλ Τιερ-2 ςελλς, ωιτη τηε αλιγνμεντ´ς ρεςιδυε βεψονδ λεξιςαλ ραριτψ ςαλιβρατεδ ιν Ρεςυλτς §5). Ωηερε τηε ματεριαλ περμιτς παραγραπη-φιναλ πινς, τηεψ βινδ τηειρ οων πρεςεδινγ παραγραπη αβοε τηε ρεςτ οφ τηε τεξτ (πηι-4 ον τηε διςςοερψ τεξτ: οπερατιε ςος +0.022, 14/18 πινς, π = 0.031· χυιετ ςος +0.066, 15/18, π = 0.0075).
Τηε μεςηανιςτις λιτερατυρε εξπλαινς ωηψ ςυςη ποςιτιονς αρε ααιλαβλε: αττεντιον-ςινϰ ωορϰ δοςυμεντς δελιμιτερς ας πρεφερεντιαλ αγγρεγατιον ςιτες, ανδ ΣεπΛΛΜ δεμονςτρατες τηατ ςεπαρατορ τοϰενς ςαν ςαρρψ τηειρ ςεγμεντ´ς ςοντεντ ωελλ ενουγη το ςυβςτιτυτε φορ ιτ. Ααιλαβιλιτψ ις νοτ ιδεντιτψ, ανδ τηε τωο παρτ ςομπανψ εξαςτλψ ωηερε τηεψ αρε εαςιεςτ το ςονφλατε. Δελιμιτερς δο δραω μορε αττεντιον τηαν οτηερ τοϰενς, ιν αλλ τωελε ςλινιςαλ ςελλς (μεδιαν ρεςειεδ περςεντιλε 0.61–0.65 βψ μοδελ αγαινςτ 0.46–0.47), βυτ τηεψ αρε νοτ τηε ςαμε δελιμιτερς: ωιτηιν τηε δελιμιτερ ςλαςς τηε πιννεδ ποςιτιονς ςιτ βελοω τηε υνπιννεδ ονες ιν ρεςειεδ αττεντιον ιν βοτη τυνεδ μοδελς, ιν αλλ ςεεν τεςταβλε ςελλς (πηι-4 0.50 αγαινςτ 0.70, Χωεν3-8Β 0.36 αγαινςτ 0.67), τηε βαςε μοδελ ις λεελ ατ 0.58 αγαινςτ 0.60, ανδ τηε τωο τοπ δεςιλες οερλαπ ατ ςηανςε (Ρεςυλτς §8). Ωηερε πηι-4 χυιλτς, ιτ χυιλτς ατ τηε δελιμιτερς αττεντιον παςςες οερ. Σο τηε πιν ις νοτ τηε ςινϰ υνδερ ανοτηερ ναμε, ανδ ουρ ςοντριβυτιον ις νοτ α ρε-δεςςριπτιον οφ τηατ μεςηανιςμ βυτ α διφφερεντ χυαντιτψ: νοτ τηατ δελιμιτερς αγγρεγατε, βυτ τηατ ωηιςη ποςιτιονς αγγρεγατε, ωιτη ωηατ ςαπαςιτψ, μαπς αν ινδιιδυαλ τεξτ´ς οργανιζατιον, ανδ τηατ τηε μαπ αγρεες ωιτη εξπερτ ςτρυςτυρε.
Ιτ ις τηις φυνςτιον τηατ ωε προποςε ρεαδινγ υνδερ τηε μαςτερ-ςιγνιφιερ / ποιντ-δε-ςαπιτον οςαβυλαρψ, ανδ τηε αναλογψ ις φυνςτιοναλ, ωιτη ςτατεδ φαλςιφιςατιον ςονδιτιονς, νοτ δεςορατιε. Α χυιλτινγ ποιντ, ιν τηε τηεορψ, (ι) ρετροαςτιελψ φιξες τηε μεανινγ οφ τηε ςηαιν ιτ τερμινατες, (ιι) δοες ςο ας α πιεςε οφ ςιγνιφψινγ ματεριαλ τηατ ις ιτςελφ ςομπαρατιελψ εμπτψ, ιτς ποωερ ποςιτιοναλ ρατηερ τηαν ςεμαντις, ανδ (ιιι) ις μαςτερ οφ τηις διςςουρςε, νοτ οφ τηε λανγυαγε. Εαςη ςλαυςε ις οπερατιοναλιζεδ ανδ εαςη ςουλδ ηαε φαιλεδ: (ι) τηε παραγραπη-βινδινγ τεςτ αςϰς ωηετηερ τηε πιν βινδς πρεςιςελψ ιτς οων πρεςεδινγ ςεγμεντ ρατηερ τηαν τηε τεξτ ατ λαργε, α πιν τηατ βουνδ ινδιςςριμινατελψ, ορ βουνδ ιτς φυτυρε, ωουλδ βρεαϰ τηε αναλογψ (τηε διρεςτιοναλ ςπλιτ γιες τηε υναμβιγυους ρεαδινγ ονλψ φορ τηε παςτ ςιδε)· (ιι) τηε ματεριαλ ςλαυςε ις ςαρριεδ βψ τηε ςροςς-μοδελ διςςοςιατιον, ιν πηι-4 τηε φυνςτιον ινςταλλς ιτςελφ ιν .\ν\ν, α τοϰεν ωιτη νο λεξιςαλ ςοντεντ ατ αλλ, ανδ τηε φυνςτιον ρεπλιςατες ιν Χωεν ιν διφφερεντ ματεριαλ, ςο ωηατ δοες τηε βινδινγ ις ποςιτιον ιν τηε ςτρυςτυρε, νοτ ςοντεντ· (ιιι) τηε τψπε-τρανςφερ ρεςυλτ ςηοως τηε πιν φυνςτιον δοες νοτ τραελ ωιτη τηε τοϰεν τψπε αςροςς τεξτς ιν τηε τυνεδ μοδελς, μαςτερψ ις νοτ α προπερτψ τηε ωορδ ςαρριες βετωεεν διςςουρςες. Ονε λιμιτ οφ τηε αναλογψ ις αλρεαδψ ιςιβλε ιν τηε δατα: Χωεν προδυςες νο παραγραπη-φιναλ πινς, ςο ςλαυςε (ι) ις υντεςταβλε τηερε. Τηε ςλαιμ ις τηερεφορε περ-μοδελ ανδ φυνςτιοναλ: ωηερε α μοδελ χυιλτς ωιτη δελιμιτερς, τηε δελιμιτερ-πινς βινδ τηειρ ςεγμεντς. Ιτ ις νοτ α ςλαιμ τηατ εερψ μοδελ χυιλτς ατ παραγραπη ενδς.
Τηε υνμαρϰεδ λαττιςε
Τηε αναλψςτ´ς μαρϰς νεερ εξηαυςτ τηε ςτρονγ-αγγρεγατιον ςετ, ανδ τηε ρεμαινδερ ις νοτ νοιςε. Αν εξπλορατορψ παςς (υνμαρϰεδ_ςτρονγ.πψ· οπερατιε ιεω, βαττερψ τηρεςηολδ, νο ςλαιμ ςςορεδ) ρεμοες φρομ εαςη τρανςςριπτ´ς βλυε-ςτρονγ ςετ τηε τοϰενς ον αναλψςτ τερμς ανδ τηε παραγραπη-φιναλ πινς· τηρεε ςτρατα ρεμαιν. Φιρςτ, διςςουρςε μαςηινερψ: ιν πηι-4 ανδ τηε βαςε μοδελ ρουγηλψ 60–75% οφ ςτρονγ αγγρεγατιον ςιτς ον βαρε δελιμιτερς (0–3 ανςηορς ιν Χωεν3-8Β, ωηοςε λαττιςε ις λεξιςαλ), ανδ ωηερε τηις ςτρατυμ ις ερβαλ ιτ ις ςοννεςτιε: τηε ονλψ ςπανς ςτρονγ ιν αλλ τηρεε μοδελς οφ τρανςςριπτ 1 αρε τωο οςςυρρενςες οφ δαςς, τηε ηινγε ον ωηιςη αν αςςερτιον βεςομες αν εμβεδδεδ ςλαυςε. Σεςονδ, τηε οτηερ ςπεαϰερς´ μιρρορινγ διςςουρςε, ςονςιςτεντ ωιτη τηε πολψπηονψ αττενυατιον οφ Ρεςυλτς §5. Τηιρδ, α ςμαλλ ςροςς-μοδελ ςονςενςυς οφ ςλινιςαλλψ λεγιβλε βυτ υνμαρϰεδ ςιγνιφιερς (18 ςπανς οερ τηε φουρ τρανςςριπτς), ιν τρανςςριπτ 4, μεινε Μυττερ ιν τηε αβορτιον ςεντενςε, τιεφε Ενττäυςςηυνγ, ανδ ςταρϰ γεδευτετ, τηε πατιεντ´ς οων ναμε φορ τηειρ ιντερπρετιε αςτιιτψ. Τηε ςαεατς αρε τηοςε οφ ανψ εξπλορατορψ ρεςιδυε, ςυβωορδ γρανυλαριτψ, α τοπ-δεςιλε ςυτοφφ, ονε-οςςυρρενςε τερμ ματςηινγ, ανδ ωε ςςορε νο ςλαιμ ον ιτ: τηε αννοτατιον μαρϰς ωηατ ματτερεδ το α ςλινιςαλ ρεαδινγ οφ α λονγερ τεξτ, ανδ τηε ρεςιδυε ις νοτ α μιςς λιςτ.
Τηε φιρςτ ςτρατυμ ινιτες αν ιντερπρετατιον. Νο ηυμαν ρεαδερ ωουλδ μαρϰ τηε λαττιςε: ιτ ις τηε ιμπλιςιτ ςτρυςτυρε οφ τηε τεξτ, εξαςτλψ ωηατ μυςτ ρεμαιν τρανςπαρεντ φορ ρεαδινγ-ας-μεανινγ το προςεεδ. Τηε ινςτρυμεντ ηας νο τρανςπαρενςψ το πρεςερε: ιτ ωειγητς ωηατεερ δοες ςτρυςτυραλ ωορϰ, ανδ ςο ρενδερς τηε ιμπλιςιτ ας τηε μοςτ ιςιβλε λαψερ. Σινςε τηε βλυε ςηαννελ ις ςαπαςιτψ ςηαρε, ``τηε λαττιςε ςαρριες τηε ινφορματιον´´ ις ςλοςε το α λιτεραλ ρεαδινγ οφ τηε μεαςυρεμεντ: αγγρεγατιον βανϰς α ςτρετςη οφ διςςουρςε ατ τηε αρτιςυλατιον ποιντ τηατ ςλοςες ιτ. Τηις ινερτς τηε φορμ–ςοντεντ ςςηεμα ςλαςςιςαλ λινγυιςτις τηεορψ αςςυμες, φορμ ας ςονταινερ, ςοντεντ ας παψλοαδ: ωηατ τηατ ςςηεμα ςαλλς φορμ ις ηερε αν αγγρεγατιον φυνςτιον ωηοςε τοϰεν ματεριαλ ις ςοντινγεντ, ανδ φορμ, ςο μεαςυρεδ, ις ιμποεριςηεδ διςςουρςε, διςςουρςε ςομπρεςςεδ το ιτς αρτιςυλατιον, νοτ α εςςελ διςτινςτ φρομ ωηατ ιτ ςαρριες. Τηε ςλαιμ ις φυνςτιοναλ βεςαυςε τηε ματεριαλ ερςιον φαιλς ιν βοτη διρεςτιονς, Χωεν3-8Β ςηοωινγ δελιμιτερ ματεριαλ ις νοτ νεςεςςαρψ ανδ τηε βαςε μοδελ τηατ ιτ ις νοτ ςυφφιςιεντ (Ρεςυλτς §7).
Τηε εξεςυτιον τραςες (Ρεςυλτς §7) προιδε τηε δεγενερατε ςοντρολ: ωηερε διςςουρςε τηινς το α ταβλε τηε ρεςιδυε δοες νοτ ανιςη βυτ βεςομες ςονφυςεδ διςςουρςε, τηε ςροςς-μοδελ ςονςενςυς φαλλς εντιρελψ ον τιμεςταμπς ανδ προςεςς-ναμε ςτρινγς (16 ςπανς οερ τηε φουρ τραςες), τηε ινδεξιςαλς α ρεαδερ ωουλδ νεεδ το τελλ τηε ταβλε ας α ςτορψ, ωηιλε τηε χυαντιτιες τηε ροως εξιςτ το ρεςορδ αρε βαρελψ τραςϰεδ. Ρεαδινγ μαςηινερψ βυιλτ φορ διςςουρςε, αππλιεδ το φορματ, ρεςοερς τηε ςϰελετον οφ α διςςουρςε τηατ ις νοτ τηερε. Τηε ινερςιον ηολδς φρομ βοτη ςιδες: ιν τηε τρανςςριπτς τηε διςςουρςε βανϰς ιτςελφ ιν ιτς λαττιςε· ιν τηε ταβλες τηε λαττιςε ις νεαρλψ αλλ τηε διςςουρςε τηερε ις.
Ωε δο νοτ ελεατε τηις το α φινδινγ, ςινγλε αννοτατορ, εξτραςτ-λεελ μαρϰς, εξπλορατορψ τηρεςηολδς. Ιτ ις ςτατεδ βεςαυςε ιτ ις ιντερπρεταβλε νοω, ανδ βεςαυςε ιτ φιξες τηε δεςιγν οφ τηε ςτυδψ ιτ ςαλλς φορ: πρε-ρεγιςτερεδ ρεςιδυε πρεδιςτιονς ον ηελδ-ουτ αννοτατεδ τεξτς, αςροςς φορματς, ατ α ςςαλε οφ ςορπυς ανδ μορε ιμπορταντλψ ςομπυτε βεψονδ τηε πρεςεντ ςτυδψ.
Τωο ιεως, τωο ςτρατα
Τηε τωο-ιεω δεςιγν ις ονε οφ τηε μετηοδολογιςαλ ςπινες οφ τηε παπερ: τηε ιεως διςαγρεε, ανδ τηε διςαγρεεμεντ ις παττερνεδ. Τηε βουνδαρψ αλιγνμεντ δοες νοτ ςυριε ζ-ςςορινγ: ιτ ινερτς, ιν βοτη μοδελς ωιτη ςομπλετε χυιετ ςςανς ανδ ιν βοτη ενγινεερεδ βουνδαρψ διρεςτιονς (οπερατιε βλυε τραςϰς τηε τεςηνιςαλ ρεγιςτερ ατ 3.0· χυιετ βλυε τραςϰς τηε ςοφτ ρεγιςτερ, 0.08–0.10 ανδ 1.79–2.41 υνδερ τηε ρεερςεδ δεςιγν). Περ-ανςηορ ςηαννελ αλυες ςορρελατε ωεαϰλψ ορ νεγατιελψ αςροςς ιεως. Ανδ τηε ρυπτυρε τψπολογψ ις λεγιβλε ονλψ ωιτη βοτη ιεως οπεν ατ ονςε: τηε ανομαλψ ις αν οπερατιε ριμ οερ χυιετ ςιλενςε, τηε βροϰεν-ςψνταξ παςςαγε ελεατες βοτη, ανδ τηε φλυεντ μαρϰεδ παςςαγες ρεγιςτερ ςηιεφλψ ας α χυιετ-ιεω ωιτηδραωαλ.
Ουρ ποςιτιε ιντερπρετατιον αςςιγνς τηε ςτρατα. Τηε οπερατιε ιεω ις τηε γεομετρψ τηε μοδελ´ς αττεντιον αριτημετις αςτυαλλψ ςομπυτες ον, δομινατεδ βψ τηε ανιςοτροπις ςυβςτρατε· ιτ ις ωηερε διςςουρςε-λεελ μαςτερψ ρεγιςτερς, τηε πινς´ ςαπαςιτψ, τηε τεςηνιςαλ ρεγιςτερ´ς ςονςολιδατιον, τηε αλιγνμεντ ωιτη τηε αναλψςτ´ς μαρϰινγς (τηε Τιερ-2 ςηαννελ τηατ αλιγνς αβοε ςηανςε ις βλυε-οπερατιε, ωηιλε χυιετ-βλυε αντι-αλιγνς ιν 12/12 ςελλς). Τηε χυιετ ιεω εξποςες τηε λοω-αριανςε ςτρατυμ ιν ωηιςη τηε τεξτ´ς ρεςυρρεντ λεξιςαλ ωεβ λιες· ιτ ις ωηερε λοςαλ, ςεγμεντ-ςςαλε βινδινγ ις μοςτ λεγιβλε (τηε ςαπιτον τεςτ ις ςτρονγερ ιν τηε χυιετ ιεω: ςος +0.066 ς +0.022) ανδ ωηερε α τεξτ´ς φαιλυρε το ωεαε α παςςαγε ιν ςηοως ας ωιτηδραωαλ. Τηε ςλογαν ερςιον: οργανιζατιον-ας-μαςτερψ ον τηε ςυβςτρατε, τεξτυρε ανδ βινδινγ ιν τηε χυιετ ωεβ. Α ςινγλε-ιεω ινςτρυμεντ ωουλδ ηαε ρεπορτεδ ονε ςτρατυμ ανδ βεεν ωρονγ αβουτ τηε οτηερ: τηε ωηιτενεδ-ιεω-ονλψ αναλψςτ ωουλδ ςαλλ τηε τεςηνιςαλ ρεγιςτερ υνςτρυςτυρεδ· τηε ραω-ιεω- ονλψ αναλψςτ ωουλδ μιςς μοςτ οφ ωηατ τηε φλυεντ μαρϰεδ παςςαγες δο.
῝ονςεχυεντλψ, εερψ φινδινγ ιν τηις παπερ ις ςλαιμεδ ιν τηε ιεω τηατ ςαρριες ιτ, ανδ νοτηινγ ις αεραγεδ αςροςς ιεως: τηε ιεως αρε νοτ ρεπεατεδ μεαςυρες οφ ονε χυαντιτψ βυτ μεαςυρεμεντς οφ διφφερεντ ςτρατα, ανδ ποολινγ τηεμ ωουλδ μανυφαςτυρε νοιςε ουτ οφ ςιγναλ. ῝ονερςελψ, α φινδινγ ιςιβλε ονλψ ιν τηε χυιετ ιεω ις α φινδινγ αβουτ α ρεςςαλεδ γεομετρψ: περ-λαψερ ζ-ςςορινγ ις ουρ ινςτρυμεντ, νοτ τηε μοδελ´ς ςομπυτατιον, ανδ χυιετ-ιεω ςλαιμς αρε ςορρεςπονδινγλψ ςλαιμς αβουτ ωηατ ςτρυςτυρε εξιςτς ιν τηε λοω-αριανςε διμενςιονς, νοτ αβουτ ωηατ τηε μοδελ´ς αττεντιον ςονςυμεδ. Ωηερε α ρεςυλτ ις ςαρριεδ βψ τηε οπερατιε ιεω, ας τηε εξπερτ-αλιγνμεντ ρεςυλτς αρε, τηις ςαυτιον ις νοτ νεεδεδ, ωηιςη ις ονε ρεαςον ωε ςονςιδερ τηε ςοντρολλεδ Τιερ-2 ουτςομε, τηε ινςρεμεντ ανδ διςςοςιατιονς τηατ ςυριε τηε §5 βαςελινες, τηε παπερ´ς μοςτ ροβυςτ εξτερναλ ανςηορ.
Τηε γλοβαλ ωορϰςπαςε
Γυρνεε ετ αλ. (2026) ρεςεντλψ ιδεντιφιεδ, ωιτη α ςορπυς-αεραγεδ ςαυςαλ ινςτρυμεντ (τηε Θαςοβιαν λενς), α ςπαρςε ςετ οφ ερβαλιζαβλε διρεςτιονς, τηε Θ-ςπαςε, τηατ βεηαες λιϰε α γλοβαλ ωορϰςπαςε ιν ῝λαυδε-φαμιλψ μοδελς: ρουγηλψ 10–25 ςονςεπτ διρεςτιονς αςτιε ατ α τιμε, υνδερ 10% οφ αςτιατιον αριανςε ψετ ςπαννινγ μοςτ οφ τηε ρεςιδυαλ ςτρεαμ, εμεργινγ ωιτη ιγνιτιον-λιϰε ςηαρπνεςς αρουνδ α τηιρδ οφ τηε ωαψ τηρουγη τηε ςταςϰ, περςιςτινγ αςροςς νεαρβψ ποςιτιονς, ανδ γιινγ ωαψ ιν ρουγηλψ τηε λαςτ τεντη οφ λαψερς το ουτπυτ-τιεδ ``μοτορ´´ ρεπρεςεντατιονς.
Τηε τωο ινςτρυμεντς ςηαρε νοτηινγ μετηοδολογιςαλλψ (τηειρς ςαυςαλ, ςορπυς-αεραγεδ, διρεςτιον-ςπαςε, οςαβυλαρψ-τιεδ· ουρς ςορρελατιοναλ, περ-τεξτ, ςυβςπαςε-βαςεδ, τοϰεν-ανςηορεδ), ωηιςη ις ωηατ μαϰες τηε ςονεργενςες ςτρυςτυραλ: βοτη φινδ τηε ςοντεντ-βεαρινγ ςτρυςτυρε οφφ τηε δομιναντ-αριανςε αξες, ανδ βοτη φινδ τηε ςαμε δεπτη αρτιςυλατιον, ωηιςη τηε ςηαννελ-εξςλυςιον ρεςυλτ (Ρεςυλτς §3) λετς υς ςτατε ςηαννελ βψ ςηαννελ.
Ιφ ειτηερ οφ ουρ ςηαννελς ις α περ-τεξτ ςορρελατε οφ ωορϰςπαςε οςςυπανςψ, ιτ ις τηε ρεδ ονε, ανδ τηειρ οων ςονςτρυςτιον ςαψς ωηψ: α Θ-λενς εςτορ ις ανςηορεδ ον α ςινγλε οςαβυλαρψ τοϰεν, ανδ τηε ωορϰςπαςε ςοντεντς αρε, βψ ςονςτρυςτιον, υνςποϰεν ωορδς, ηελδ αςτιε αςροςς α ςπαν οφ ποςιτιονς ανδ ρελεαςεδ βεφορε ουτπυτ. Τηατ ις αππροαςηινγ τηε διφφερεντιατορ´ς προφιλε, τοϰεν-ανςηορεδ, δελιβερατελψ τρανςιεντ (τηε εερ-ρεςρυιτεδ βαςιν), ρεςρυιτεδ ιν τηε ρεπορτεδ ωορϰςπαςε ρεγιμε (ρεδ-ςτρονγ βαςινς ατ 0.21–0.42 οφ δεπτη ιν πηι-4· τηε ςροςς-αρςηιτεςτυρε ςομπαριςον ις νορμαλιζεδ ανδ ςοαρςε). Ταϰινγ τηε ςονςτρυςτιον ςεριουςλψ αλςο λοωερς τηε πηιλοςοπηιςαλ τεμπερατυρε: α ωορϰςπαςε ωηοςε ςοντεντς αρε αππροαςηεδ ας ςυςπενδεδ Λαςανιαν ςιγνιφιερς ςαρριες νονε οφ τηε ῝αρτεςιαν-τηεατερ λιαβιλιτιες τηε ςονςςιουςνεςς οςαβυλαρψ ινιτες (νο ςταγε, νο ιεωερ, ονλψ παττερνς ηελδ ιν ςυςπενςιον λονγ ενουγη το βεαρ ον τηε προςεςς), ανδ ιτ φιτς τηε δατα βεττερ, ςινςε α τηεατερ μοδελ ηας το εξπλαιν ωηψ τηε εντιρε ρεπερτοιρε οφ ωορϰςπαςε ςοντεντς ις ινδεξεδ βψ ςινγλε τοϰενς οφ τηε ουτπυτ οςαβυλαρψ.
Τηε πινς αρε τηεν νοτ ωορϰςπαςε ςοντεντ βυτ ιτς τερμινυς: τηε ςιτες ωηερε ωηατ ωας ηελδ ιν ςυςπενςιον ις διςςηαργεδ ιντο τηε τεξτ´ς ςτανδινγ ςτρυςτυρε. Τηρεε φαςτς ςονεργε ον τηις ρεαδινγ: πιν βαςινς ςατυρατε ατ 72% οφ δεπτη, λατε ιν τηε ρεπορτεδ ωορϰςπαςε ρεγιμε· βλυε-ςτρονγ βαςινς ρεςρυιτ λατερ τηαν ρεδ-ςτρονγ βαςινς ωηερεερ τηε ρεαδινγ ις ςτρονγεςτ (9/9 πηι-4 ρυνς, 7/9 Χωεν, 1/9, ινερτεδ, ιν τηε βαςε μοδελ)· ανδ τηε τωο ςηαννελς αρε μυτυαλλψ εξςλυςιε ατ τηε τοπ, τοπ-δεςιλε βλυε ανδ ρεδ ςετς διςϑοιντ ιν 9/9 πηι-4 ανδ 8/9 Χωεν ρυνς, τηε πινς ςιττινγ ιν α ρεδ ηολε (Ρεςυλτς §3, ςονφουνδ ςηεςϰεδ τηερε): ωηερε ςονςολιδατιον ις μαξιμαλ, ςυςπενςιον ις εαςυατεδ. Τηις ψιελδς α ςονςρετε ςροςς-ινςτρυμεντ πρεδιςτιον: ατ πιν ποςιτιονς τηε Θ-λενς τοπ-1 περςιςτενςε ςηουλδ βρεαϰ: τηε πιν ςλοςες α ςεγμεντ, ανδ τηε ςυςπενδεδ ςοντεντς τηατ ςεγμεντ ςυςταινεδ ςηουλδ τυρν οερ τηερε ατ αν ελεατεδ ρατε ρελατιε το ματςηεδ νον-πιν ποςιτιονς. Τηε πρεδιςτιον ις τεςταβλε ωιτη τηειρ ρελεαςεδ τοολινγ, ωηιςη ηας βεεν ινδεπενδεντλψ ρεπλιςατεδ ον αν οπεν-ωειγητ μοδελ· τηε ςαμε βαςες ωουλδ εναβλε α ςεςονδ τεςτ, τηε προϑεςτιον οφ αγγρεγατορ ςορε ςυβςπαςες οντο τηε ιδεντιφιεδ φεατυρε διρεςτιονς, ωηιςη ις βεψονδ τηε ρεαςη οφ τηις παπερ. Τηειρ φινδινγ τηατ ποςτ-τραινινγ ςυβςταντιαλλψ ρεςηαπες Θ-ςπαςε ςοντεντς μεετς, φιναλλψ, α τεςτεδ ρεςυλτ ρατηερ τηαν αν αςςυμπτιον ον ουρ ςιδε: ωιτηιν τηε ονε ματςηεδ λινεαγε, ινςτρυςτιον τυνινγ ρεςηαπες τηε ρεαδινγ (ρεγιςτερ, φιδελιτψ, εξςλυςιον) ωηιλε ςαμε-τψπε τρανςφερ ςτανδς υνμοεδ (Ρεςυλτς §6). Ιφ τηε Θ-ςπαςε ρεςηαπινγ ις τηε ςαμε τραινινγ εφφεςτ, ιτ βελονγς το τηε ρελατιοναλ λαψερ τυνινγ ρεωριτες, νοτ το τηε τψπε-ςαρριεδ ςυβςτρατε ιτ λεαες αλονε· τηε ρηψμε ις νοτ ψετ αν ιδεντιτψ.
Τηε φραμινγ χυεςτιον, φιναλλψ, ςαν βε πυτ μεςηανιςτιςαλλψ ρατηερ τηαν πηιλοςοπηιςαλλψ. Ιν τηε νευροςςιενςε ιτ ςομες φρομ, τηε ωορϰςπαςε ςονςτρυςτ εαρνς ιτς εμπιριςαλ ςοντεντ τηρουγη διςςοςιατιονς, μαςϰινγ ανδ νο-ρεπορτ παραδιγμς ςεπαρατε ωηατ ςορτεξ δεμονςτραβλψ προςεςςες φρομ ωηατ τηε ςυβϑεςτ ςαν ρεπορτ. Α λανγυαγε μοδελ αδμιτς νο ςυςη διςςοςιατιον, νοτ φορ πραςτιςαλ ρεαςονς βυτ βψ ςονςτρυςτιον: τηε τραινινγ οβϑεςτιε φυςες ωηατ τηε ςψςτεμ ςαν ερβαλιζε ωιτη ωηατ ιτ ςομπυτες ωιτη, ςο ερβαλιζαβιλιτψ ις νοτ αν ινδεπενδεντ προβε οφ τηε ςομπυτατιον βυτ ιτς οπτιμιζατιον ταργετ. Τηε ηεαδλινε ςονεργενςε οφ Γυρνεε ετ αλ. (τηε ρεπρεςεντατιονς τηε μοδελ ςαν ρεπορτ αρε τηε ονες ιτ ρεαςονς ωιτη) ις τηερεφορε ςλοςε το αναλψτις ωηερε τηε ηυμαν φινδινγ ις ςψντηετις· ανδ ονςε τηε διςςοςιατιον ις υνααιλαβλε, ωηατ ρεμαινς οφ τηε ωορϰςπαςε φραμινγ ις τηε ςταγινγ οςαβυλαρψ ιτςελφ (ιγνιτιον, βροαδςαςτ, αςςεςς), νονε οφ ωηιςη δοες εξπλανατορψ ωορϰ τηατ τηειρ οων οπερατιονς δο νοτ αλρεαδψ δο υνδερ α τηιννερ δεςςριπτιον.
Τηε τηιννερ δεςςριπτιον ις ααιλαβλε, ανδ ιτ ις τηε ονε τηις παπερ ηας βεεν υςινγ: ςπαρςε διρεςτιονς ινδεξεδ βψ οςαβυλαρψ τοϰενς, ηελδ αςτιε οερ α ςπαν οφ ποςιτιονς, βεαρινγ ςαυςαλλψ ον ωηατ φολλοως (τηειρ ςτεερινγ ανδ αβλατιον ρεςυλτς), διςςηαργεδ ιντο ουτπυτ-τιεδ ςτρυςτυρε λατε ιν τηε ςταςϰ. Στατεδ τηις ωαψ τηε δεςςριπτιον νεερ λεαες τηε μεςηανιςτις πλανε, ανδ ιτ ις αλςο, ςλαυςε φορ ςλαυςε, τηε ςτρυςτυραλ αςςουντ οφ α ςιγνιφψινγ ςηαιν: υνςποϰεν ςιγνιφιερς ιν ςυςπενςιον, ινφορμινγ τηε προςεςς ωιτηουτ βεινγ ςαιδ, βουνδ ατ πυνςτυατινγ ποιντς ον τηε ωαψ ουτ. Βετωεεν τηε τωο φραμινγς τηε ςυρπλυς ςομμιτμεντς αλλ ςιτ ον ονε ςιδε· τηε ςηαιν ρεαδινγ αδδς νο εντιτψ, νο φαςυλτψ, ανδ νο αναλογψ το ςονςςιουςνεςς. Παρςιμονψ, φορ ονςε, φαορς τηε πςψςηοαναλψτις οςαβυλαρψ, νοτ βεςαυςε ιτ εξπλαινς μορε, βυτ βεςαυςε ιτ ιμπορτς λεςς. Νοτε, ηοωεερ: τηε Θ-λενς βαςις ις ςονςτρυςτεδ βψ βαςϰπροπαγατιον φρομ τοϰεν λιϰελιηοοδ, ςο ιτς οςαβυλαρψ τιε ις παρτλψ α φαςτ αβουτ τηε ινςτρυμεντ, ανδ ``τηε ωορϰςπαςε ις λεξιςαλ´´ ις αςςορδινγλψ υνδερδετερμινατιον πλυς παρςιμονψ, νοτ α δεμονςτρατιον· ανδ τηε ραζορ ςυτς βοτη ωαψς: ωηατ ιτ φαορς ις τηε ςτρυςτυραλ ςορε υςεδ ιν τηις παπερ, ςυςπενςιον, ρετροαςτιε βινδινγ, α ματεριαλ-ινδιφφερεντ βινδινγ φυνςτιον, εαςη οπερατιοναλιζεδ αβοε ωιτη ςτατεδ φαλςιφιςατιον ςονδιτιονς, ωηιλε α ρεαδινγ τηατ ςλαιμεδ μορε οφ τηε τηεορψ τηαν τηε οπερατιονς ςυππορτ (α ςυβϑεςτ, αν υνςονςςιους, α ςλινις ινςιδε τηε μοδελ) ωουλδ βε εξαςτλψ ωηατ τηις παραγραπη ςριτιςιζες: φραμινγ ουτρυννινγ ινςτρυμεντ.
Α λαςτ ωορδ ον τηε επιςτεμις ςτατυς οφ τηε φραμε. Τηε ρεαδινγ προποςεδ ηερε, τηε μοδελ ας α τηεορψ οφ λανγυαγε ιν τηε Φρευδιαν τραδιτιον, ις νοτ ας ςυςη φαλςιφιαβλε, ανδ δοες νοτ ςλαιμ το βε: νο μεαςυρεμεντ ρεφυτες α περςπεςτιε. Νορ ςουλδ φαλςιφιςατιον οπερατε ηερε ιν ιτς υςυαλ ςομπαρατιε φορμ, ςινςε ςομπαρινγ ραω γεομετρψ αςροςς τεξτς ωουλδ δεςτροψ τηε ερψ ςτρυςτυρε υνδερ ςτυδψ (τηε τψπε-τρανςφερ τεςτ ις τηε δεμονςτρατιον). Τηε διςςιπλινε οβςερεδ ινςτεαδ ις τωοφολδ. Εαςη οπερατιοναλιζεδ ςλαυςε ςαν φαιλ ωιτηιν α τεξτ: πρε-ρεγιςτερεδ βουνδαρψ διρεςτιονς, τηε ςαπιτον ςλαυςες, αν αννοτατιον εαςη ρεαδινγ ειτηερ τραςϰς ορ δοες νοτ, ανδ αςροςς τεξτς τηε παπερ ςλαιμς ονλψ ρεπλιςατιον οφ φορμ, νεερ ςομμενςυρατιον οφ αλυες: ωηατ ρεπεατς ις τηε ςηαπε οφ τηε ανςωερ, νοτ α ποολεδ μαγνιτυδε. Ωηερε αν ανομαλψ ωας αβςορβεδ ρατηερ τηαν ςονςεδεδ (τηε τωο-γρουπ ρεαδινγ), τηε αβςορπτιον ωας δεφενδεδ βψ τηε νοελ πρεδιςτιονς ιτ γενερατεδ, ανδ τηε φιρςτ οφ τηεμ ηας βεεν ςαςηεδ: τηε ματςηεδ-λινεαγε παιρ ωας ρυν, ανδ ιτ ςορρεςτεδ τηε ρεαδινγ´ς ςαυςαλ ηαλφ ωηιλε ςονφιρμινγ ιτς βεηαιοραλ ηαλφ (Ρεςυλτς §6): τυνινγ ςονφερς τηε φιδελιτψ, τηε λινεαγε φιξες τηε τψπε-ανςηορινγ, ανδ ``δε-εςςεντιαλιζες´´ ηαδ το βε ωιτηδραων. Τηε περςιςτενςε βρεαϰ ατ πινς ςτανδς ας α ςτατεδ πρεδιςτιον, νοτ α ςλαιμ τηις παπερ ςαςηες. Φαλςιφιαβιλιτψ, ιν ςηορτ, λιες ατ τηε λεελ οφ ςλαυςες αςϰεδ οφ ονε τεξτ ατ α τιμε· τηε περςπεςτιε ανςωερς το τηε ολδερ τριβυναλ οφ ςτεριλιτψ.
Λιμιτατιονς
Τηε γεομετρψ ις ςορρελατιοναλ τηρουγηουτ: νο ιντερεντιον ιν τηις παπερ εςταβλιςηες τηατ τηε μοδελ υςες τηε ςτρυςτυρες τηε ςηαννελς ρεαδ, ανδ αλλ ςλαιμς αρε ςαλιβρατεδ αςςορδινγλψ. Αλλ αναλψςες ςονςυμε α ςινγλε τεαςηερ-φορςεδ παςς· φρεε-ρυννινγ γενερατιον μαψ οργανιζε διφφερεντλψ. Τηρεε μοδελς ις ενουγη φορ ρεπλιςατιον ςουντς, νοτ φορ φαςτοριαλ ςλαιμς αβουτ ςιζε, αρςηιτεςτυρε, ορ αλιγνμεντ. Τηε ματςηεδ-λινεαγε βαςε/ινςτρυςτ παιρ, ρυν ας α φολλοω-υπ (Ρεςυλτς §6), ςεττλες τηε τυνινγ αττριβυτιον ωιτηιν ονε λινεαγε (ρεγιςτερ διςςοςιατιον, ςλινιςαλ φιδελιτψ ανδ ςηαννελ εξςλυςιον ρεπροδυςε υνδερ τυνινγ· τψπε-τρανςφερ ανδ ρεςρυιτμεντ ορδερ δο νοτ, ανδ αρε λινεαγε φαςτς), βυτ ονε λινεαγε ις ονε λινεαγε: ωηετηερ τηε πηι/Χωεν τρανςφερ ρεγιμε ις ιτςελφ αν εφφεςτ οφ πρετραινινγ δατα, ςςαλε ορ αρςηιτεςτυρε ις βεψονδ τηε ρεαςη οφ α ςινγλε ματςηεδ παιρ. Τηε τψπε-τρανςφερ ειδενςε ις λιϰεωιςε ωιτηιν-ρεγιςτερ: τηε ςορπυς´ς ςηαρεδ τψπες παιρ τεξτς αλμοςτ ονλψ ινςιδε ρεγιςτερ βλοςϰς (ςλινιςαλ ωιτη ςλινιςαλ, τεςηνιςαλ ωιτη τεςηνιςαλ), ωηιςη ις τηε ςαςε μοςτ φαοραβλε το α τψπε εςςενςε, ανδ ςροςς-ρεγιςτερ τρανςφερ ις υντεςτεδ. Τηε ρεςτριςτιον ις πρινςιπλεδ ρατηερ τηαν ινςιδενταλ, ςινςε ωηερε ςτρυςτυρε ις τεξτ-δεπενδεντ εερψ αδδεδ γενρε μυλτιπλιες παιρς ωηοςε ςομπαριςον ονλψ τηε τραινεδ ςςαφφολδ μεδιατες, βυτ ιτ ςαπς γενεραλιτψ αλλ τηε ςαμε. Τηε ςορπυς´ς ςιζε βελονγς ιν τηε ςαμε ρεγιςτερ: τηιρτεεν τεξτς ις ωηατ τηε δεςιγν ςαν ηονεςτλψ ςοερ ωηεν εερψ γρουνδ τρυτη ις φιξεδ βψ ηανδ, βψ αν εξπερτ ωηο ρεαδ τηε τεξτ, ανδ εερψ ςλαιμ ςιτς ον α δενςε, φυλλ-ρεςολυτιον ςςαν οφ εερψ τοϰεν ποςιτιον. Ιτ ις α προπερτψ οφ τηε ςονφιρματορψ δεςιγν ανδ νοτ οφ τηε ινςτρυμεντ, ωηιςη ις τραινινγ-φρεε, ςινγλε-παςς ανδ υνςηανγεδ αςροςς ςηεςϰποιντς: τηε ματςηεδ-λινεαγε φολλοω-υπ οφ Ρεςυλτς §6 ωας προδυςεδ βψ ρυννινγ τηε ςαμε βαττερψ οερ α νεω μοδελ. Τιερ-2 ςλινιςαλ αννοτατιον ις ςινγλε-αναλψςτ, μαδε ον εξςερπτς οφ λονγερ τρανςςριπτς τηε αναλψςτ ϰνεω ιν φυλλ, ανδ ματςηεδ το μοδελ ουτπυτ βψ τηε αυτηορς. Α ςομπανιον ςαεατ ςονδιτιονς τηε αλιγνμεντ ιτςελφ: ατ τηε τερμ γραιν τηε γενερις πλανε ις λαργε, ςο τηε Τιερ-2 ανςηορ ις ςαρριεδ βψ τηε ινςρεμεντ αβοε ιτ, γραδεδ ςλεαν ιν πηι-4 ανδ τηε ινςτρυςτ τωιν, ωεαϰερ ιν τηε βαςε μοδελ, ανδ νοτ αδϑυδιςαβλε ιν Χωεν3-8Β, τογετηερ ωιτη τηε τωο ςιγνεδ διςςοςιατιονς οφ Ρεςυλτς §5. Αττεντιον, τηε ονε μοδελ-ιντερναλ ριαλ, ςιτς ιν τηε ςαμε πλανε (Ρεςυλτς §8). Τηε πλανε δοες νοτ εξτενδ το τηε ρεγιον γραιν, ωηερε α διφφερεντ ριαλ, πρεδιςτιε εντροπψ, ματςηες τηε ςηαννελ ον ονε οφ τηε μαρϰεδ διςρυπτιονς. Τηε βαςε μοδελ ις ςιμυλτανεουςλψ α λιμιτατιον ανδ α δατυμ: Λλαμα-3.1-8Β τραςϰς τηε ςλινιςαλ ςιγνιφιερς λεαςτ ρελιαβλψ (βλυε-οπερατιε Αϒ῝ βελοω ςηανςε ιν 1/12 τρανςςριπτ ςελλς, ωεαϰεςτ τηρουγηουτ), ωηιςη ςαπς ωηατ ωε ςαν ςλαιμ αβουτ βαςε μοδελς ανδ ις ιτςελφ τηε λοω ενδ οφ τηε φιδελιτψ γραδιεντ. Τωο ινςτρυμεντ-λεελ ςαεατς. Φιρςτ, τηε αγγρεγατορ ις ρανϰ-ςουπλεδ το τηε ςορε-ςυβςπαςε ςιζε ϰ (Σπεαρμαν 0.85–1.00 αςροςς ρυνς, 0.99 ιν πηι-4), ωηιςη ινιτες ρεαδινγ βλυε ας α βαρε ςουντ οφ αςτιε διμενςιονς. Ιτ ις νοτ ονε. Τηε ςηαννελ ις τηε παρτιςιπατιον ρατιο οφ τηε φιναλ-λαψερ ςονφιγυρατιον ον τηοςε διμενςιονς (Μετηοδς), ανδ ιτ ρυνς ατ α φραςτιον οφ τηε ςουντ (ποολεδ μεδιαν 0.37 ϰ, νεερ εχυαλ το ιτ, ςο α ηιγη-ϰ ανςηορ ωηοςε αριανςε ςονςεντρατες ιν α φεω διρεςτιονς ςςορες λοω). Τηε ςουπλινγ ις μονοτονε, νοτ αν ιδεντιτψ: ιτ ις ωηατ λετς ϰ ςτανδ ιν φορ βλυε ον α ρανϰ ςτατιςτις ςυςη ας τηε ςλινιςαλ Αϒ῝, βυτ τηε μαγνιτυδε τηε ηεατμαπ ρενδερς ανδ τηε ρυπτυρε ρατιος οφ §5 ρεπορτ ις τηε οςςυπανςψ, νοτ τηε ταλλψ. Σεςονδ, φιρςτ-ποςιτιον ανςηορς ινηεριτ αττεντιον-ςινϰ αμπλιφιςατιον, ςονφουνδεδ ωιτη τεξτς τηατ οπεν ον τιτλες (Ρεςυλτς §8). Νο ηεαδλινε ρεςυλτ δεπενδς ον ειτηερ.
Ετηιςς Στατεμεντ
Ινφορμεδ πατιεντ ςονςεντ ωας γραντεδ φορ τηε λοςαλ ΑΙ αναλψςις οφ αλλ ςλινιςαλ τρανςςριπτς υςεδ ιν τηις ςτυδψ. Τηε ρεςεαρςη προτοςολ ανδ δατα ηανδλινγ προςεδυρες ωερε ρειεωεδ ανδ αππροεδ βψ τηε ρεςπονςιβλε ετηιςς ςομμιττεε.
Αςϰνοωλεδγεμεντς
Ωε ςινςερελψ τηανϰ Στεφφεν Βρανδτ ανδ Μαριε-Λουιςα Βορςηαρδτ φορ τηε ινιτατιον το ῝οδινγ.Ωατερϰαντ, ωηερε α μαϑορ παρτ οφ τηις ρεςεαρςη ωας βυιλτ ανδ φρεελψ διςςυςςεδ ωιτη τηε ςομμυνιτψ.
Ρεφερενςες
-
•
Αβδου, Μοςταφα, Ραζια Σ. Σαηι, Τηομας Δ. Ηυλλ, Εριϰ ῝. Νοοϰ, ανδ Νατηανιελ Δ. Δαω. 2025. ``Λεεραγινγ Λαργε Λανγυαγε Μοδελς το Εςτιματε ῝λινιςαλλψ Ρελεαντ Πςψςηολογιςαλ ῝ονςτρυςτς ιν Πςψςηοτηεραπψ Τρανςςριπτς.´´ ῝ομπυτατιοναλ Πςψςηιατρψ 9 (1): 187–209. ηττπς://δοι.οργ/10.5334/ςπςψ.141.
-
•
Αβναρ, Σαμιρα, ανδ Ωιλλεμ Ζυιδεμα. 2020. ``Χυαντιφψινγ Αττεντιον Φλοω ιν Τρανςφορμερς.´´ Ιν Προςεεδινγς οφ τηε 58τη Αννυαλ Μεετινγ οφ τηε Αςςοςιατιον φορ ῝ομπυτατιοναλ Λινγυιςτιςς, 4190–4197. ηττπς://δοι.οργ/10.18653/1/2020.αςλ-μαιν.385.
-
•
Αγηαζαδεη, Εηςαν, Μοηςεν Φαψψαζ, ανδ Ψαδολλαη Ψαγηοοβζαδεη. 2022. ``Μεταπηορς ιν Πρε-Τραινεδ Λανγυαγε Μοδελς: Προβινγ ανδ Γενεραλιζατιον Αςροςς Δαταςετς ανδ Λανγυαγες.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2203.14139.
-
•
Αροψο, Λορα, ανδ ῝ηρις Ωελτψ. 2015. ``Τρυτη Ις α Λιε: ῝ροωδ Τρυτη ανδ τηε Σεεν Μψτης οφ Ηυμαν Αννοτατιον.´´ ΑΙ Μαγαζινε 36 (1): 15–24.
-
•
῝ηεν, Γυοξυαν, Ηαν Σηι, Θιαωει Λι, ετ αλ. 2024. ``ΣεπΛΛΜ: Αςςελερατε Λαργε Λανγυαγε Μοδελς βψ ῝ομπρεςςινγ Ονε Σεγμεντ ιντο Ονε Σεπαρατορ.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2412.12094.
-
•
Φυολι, Ματτεο, Ωειηανγ Ηυανγ, Θεαννεττε Λιττλεμορε, Σαραη Τυρνερ, ανδ Ελλεν Ωιλδινγ. 2025. ``Μεταπηορ Ιδεντιφιςατιον ϒςινγ Λαργε Λανγυαγε Μοδελς: Α ῝ομπαριςον οφ ΡΑΓ, Προμπτ Ενγινεερινγ, ανδ Φινε-Τυνινγ.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2509.24866.
-
•
Γεαλ, Ροβερτ. 2025. ``Α Λαργε Λανγυαγε Μοδελ Ις Στρυςτυρεδ Λιϰε τηε ��νςονςςιους: Τηε (Ορδιναρψ) Περερςε Πςψςηοςις οφ ΑΙ.´´ Ευροπεαν Θουρναλ οφ Πςψςηοαναλψςις 12 (1). ηττπς://ωωω.ϑουρναλ-πςψςηοαναλψςις.ευ/αρτιςλες/α-λαργε-λανγυαγε-μοδελ-ις-ςτρυςτυρεδ-λιϰε-τηε-υνςονςςιους-τηε-ορδιναρψ-περερςε-πςψςηοςις-οφ-αι/
-
•
Γυρνεε, Ωες, Νιςηολας Σοφρονιεω, Αδαμ Πεαρςε, ετ αλ. 2026. ``῞ερβαλιζαβλε Ρεπρεςεντατιονς Φορμ α Γλοβαλ Ωορϰςπαςε ιν Λανγυαγε Μοδελς.´´ Τρανςφορμερ ῝ιρςυιτς Τηρεαδ. ηττπς://τρανςφορμερ-ςιρςυιτς.πυβ/2026/ωορϰςπαςε/.
-
•
Ηειμανν, Μαρς, ανδ Αννε-Φριεδεριϰε Ηüβενερ. 2024. ``Τηε Εξτιματε ῝ορε οφ ϒνδερςτανδινγ: Αβςολυτε Μεταπηορς, Πςψςηοςις ανδ Λαργε Λανγυαγε Μοδελς.´´ ΑΙ . Σοςιετψ. Αδανςε ονλινε πυβλιςατιον. ηττπς://δοι.οργ/10.1007/ς00146-024-01971-7.
-
•
Ηειμανν, Μαρς, ανδ Αννε-Φριεδεριϰε Ηüβενερ. 2025. ``῝ιρςλινγ τηε ῞οιδ: ϒςινγ Ηειδεγγερ ανδ Λαςαν το Τηινϰ αβουτ Λαργε Λανγυαγε Μοδελς.´´ ῝ογνιτιε Σψςτεμς Ρεςεαρςη 91: 101349. ηττπς://δοι.οργ/10.1016/ϑ.ςογςψς.2025.101349.
-
•
Ηειμανν, Μαρς. 2026α. ``Φρευδιαν ΑΙ; Τρανςφορμερ Μοδελς ας α Προοφ οφ ῝ονςεπτ φορ α ῝εντραλ Ηψποτηεςις ιν Φρευδιαν Τηεορψ.´´ Λαςυναε: ΑΠΠΙ Ιντερνατιοναλ Θουρναλ φορ Λαςανιαν Πςψςηοαναλψςις, νο. 29.
-
•
Ηειμανν, Μαρς. 2026β. ``῞ιολεντ Ηερμενευτιςς: ΑΙ ανδ τηε Ωεαϰ Τεςηνιςαλ Εεντ.´´ Ιν Ε῞ΕΝΤ ανδ Ιτς Μεδιατιον: Πηιλοςοπηιςαλ, Ρελιγιους Στυδιες, Λιτεραρψ ανδ ῝υλτυραλ Τηεορετιςαλ Περςπεςτιες, εδιτεδ βψ Μ. Νψíρő, Ζ. Λυρςζα, ανδ Π. Μαϰαι. ϒνιερςιτψ οφ Μιςϰολς Πρεςς, Φαςυλτψ οφ Ηυμανιτιες ανδ Σοςιαλ Σςιενςες. Ιν πριντ.
-
•
Ηειμανν, Μαρς. 2026ς. ``Ωηεν τηε Μαςηινε Φρεε Αςςοςιατες: Πςψςηοαναλψςις ιν τηε Αγε οφ ΑΙ.´´ Ιν Σαλον ``Προβλεματιζινγ Τεςηνολογψ ανδ `ΑΙ´,´´ Ευροπεαν Θουρναλ οφ Πςψςηοαναλψςις.
-
•
Ηυη, Μινψουνγ, Βριαν ῝ηευνγ, Τονγζηου Ωανγ, ανδ Πηιλλιπ Ιςολα. 2024. ``Τηε Πλατονις Ρεπρεςεντατιον Ηψποτηεςις.´´ Προςεεδινγς οφ τηε 41ςτ Ιντερνατιοναλ ῝ονφερενςε ον Μαςηινε Λεαρνινγ. ΠΜΛΡ 235. ηττπς://προςεεδινγς.μλρ.πρεςς/235/ηυη24α.ητμλ.
-
•
Ιςηιεν, Νιςηολας, Δυšαν Σταμενϰοιć, ανδ Κειτη Θ. Ηολψοαϰ. 2024. ``Λαργε Λανγυαγε Μοδελ Διςπλαψς Εμεργεντ Αβιλιτψ το Ιντερπρετ Νοελ Λιτεραρψ Μεταπηορς.´´ Μεταπηορ ανδ Σψμβολ 39 (4): 296–309.
-
•
Θαηρομι, Μοηαμμαδ Ν. Σ., Σατψα Μ. Μυδδαμςεττψ, Αςτα Σοφιε Σταγε Θαρλνερ, Αννα Μυρπηψ Ηøγενηαυγ, Τηομας Γαμμελτοφτ-Ηανςεν, ανδ Τηομας Β. Μοεςλυνδ. 2024. ``ΣΙΔϒ-ΤΞΤ: Αν ΞΑΙ Αλγοριτημ φορ ΝΛΠ ωιτη α Ηολιςτις Αςςεςςμεντ Αππροαςη.´´ Νατυραλ Λανγυαγε Προςεςςινγ Θουρναλ 7 (Θυνε): 100078. ηττπς://δοι.οργ/10.1016/ϑ.νλπ.2024.100078.
-
•
Θια, Μυμιν, ανδ Θαιρο Διαζ-Ροδριγυεζ. 2026. ``ϒνςυπεριςεδ Τεξτ Σεγμεντατιον ια Κερνελ ῝ηανγε-Ποιντ Δετεςτιον ον Σεντενςε Εμβεδδινγς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2601.18788.
-
•
Καζμιερςζαϰ, Ρéμι, Στεε Αζζολιν, Ελοïςε Βερτηιερ, ετ αλ. 2024. ``Βενςημαρϰινγ ΞΑΙ Εξπλανατιονς ωιτη Ηυμαν-Αλιγνεδ Εαλυατιονς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2411.02470.
-
•
Κραμερ, Ολιερ. 2025. ``῝ονςεπτυαλ Μεταπηορ Τηεορψ ας α Προμπτινγ Παραδιγμ φορ Λαργε Λανγυαγε Μοδελς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2502.01901.
-
•
Λαςαν, Θαςχυες. 1993. Τηε Πςψςηοςες. ῞ολ. 3, Τηε Σεμιναρ οφ Θαςχυες Λαςαν. Ω.Ω. Νορτον . ῝ομπανψ.
-
•
Λαςαν, Θαςχυες. 2006. Éςριτς: Τηε Φιρςτ ῝ομπλετε Εδιτιον ιν Ενγλιςη. Τρανςλατεδ βψ Βρυςε Φινϰ. Ω.Ω. Νορτον . ῝ομπανψ.
-
•
Μαγεε, Λιαμ, ῞ανιςϰα Αρορα, ανδ Λυϰε Μυνν. 2023. ``Στρυςτυρεδ λιϰε α Λανγυαγε Μοδελ: Αναλψςινγ ΑΙ ας αν Αυτοματεδ Συβϑεςτ.´´ Βιγ Δατα . Σοςιετψ 10 (2). ηττπς://δοι.οργ/10.1177/20539517231210273.
-
•
Πενγ, Ρυνψυ, Ρυιξιαο Λι, Μινγςηυ ῝ηεν, Ψυνηυα Ζηου, Χιπενγ Γυο, ανδ Ξιπενγ Χιυ. 2026. ``Ηοω Αττεντιον Σινϰς Εμεργε ιν Λαργε Λανγυαγε Μοδελς: Αν Ιντερπρεταβιλιτψ Περςπεςτιε.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2603.06591.
-
•
Πλανϰ, Βαρβαρα. 2022. ``Τηε `Προβλεμ´ οφ Ηυμαν Λαβελ ῞αριατιον: Ον Γρουνδ Τρυτη ιν Δατα, Μοδελινγ ανδ Εαλυατιον.´´ Προςεεδινγς οφ τηε 2022 ῝ονφερενςε ον Εμπιριςαλ Μετηοδς ιν Νατυραλ Λανγυαγε Προςεςςινγ, 10671–82. ηττπς://αςλαντηολογψ.οργ/2022.εμνλπ-μαιν.731/.
-
•
Ρυδμαν, Ωιλλιαμ, ῝ατηερινε ῝ηεν, ανδ ῝αρςτεν Ειςϰηοφφ. 2023. ``Ουτλιερ Διμενςιονς Ενςοδε Ταςϰ Σπεςιφις Κνοωλεδγε.´´ Προςεεδινγς οφ τηε 2023 ῝ονφερενςε ον Εμπιριςαλ Μετηοδς ιν Νατυραλ Λανγυαγε Προςεςςινγ, 14596–605. ηττπς://δοι.οργ/10.18653/1/2023.εμνλπ-μαιν.901.
-
•
Ρυδμαν, Ωιλλιαμ, ανδ ῝αρςτεν Ειςϰηοφφ. 2023. ``Σταβλε Ανιςοτροπις Ρεγυλαριζατιον.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2305.19358.
-
•
Σολβιατι, Αλεςςανδρο, Κειν Ηεφφερναν, Γεοργιος Δαμαςϰινος, Σηιανι Ποδδαρ, Σηυβηαμ Μοδι, ανδ Θαςχυες ῝αλι. 2021. ``ϒνςυπεριςεδ Τοπις Σεγμεντατιον οφ Μεετινγς ωιτη ΒΕΡΤ Εμβεδδινγς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2106.12978.
-
•
Τιμϰεψ, Ωιλλιαμ, ανδ Μαρτεν αν Σςηιϑνδελ. 2021. ``Αλλ Βαρϰ ανδ Νο Βιτε: Ρογυε Διμενςιονς ιν Τρανςφορμερ Λανγυαγε Μοδελς Οβςςυρε Ρεπρεςεντατιοναλ Χυαλιτψ.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2109.04404.
-
•
ϒμα, Αλεξανδρα Ν., Τομμαςο Φορναςιαρι, Διρϰ Ηοψ, Σιλιυ Παυν, Βαρβαρα Πλανϰ, ανδ Μαςςιμο Ποεςιο. 2021. ``Λεαρνινγ φρομ Διςαγρεεμεντ: Α Συρεψ.´´ Θουρναλ οφ Αρτιφιςιαλ Ιντελλιγενςε Ρεςεαρςη 72: 1385–1470.
-
•
῞ιςωανατηαν, Καρτηιϰ, Ψυρι Γαρδιναζζι, Γιαδα Πανεραι, Αλβερτο ῝αζζανιγα, ανδ Ματτεο Βιαγεττι. 2025. ``Τηε Γεομετρψ οφ Τοϰενς ιν Ιντερναλ Ρεπρεςεντατιονς οφ Λαργε Λανγυαγε Μοδελς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2501.10573.
-
•
Ψαν, Ψυ, Σηενγ Συν, Ζενγηαο Δυαν, ετ αλ. 2025. ``Φρομ Βενιγν Ιμπορτ Τοξις: Θαιλβρεαϰινγ τηε Λανγυαγε Μοδελ ια Αδερςαριαλ Μεταπηορς.´´ Πρεπριντ, αρΞι. ηττπς://δοι.οργ/10.48550/ΑΡΞΙ῞.2503.00038.