Class Tokenizer
Der Tokenizer zerlegt einen Zeichenstream in einzelne Tokens, die mittels TreeBuilder zu einem Dokument umgewandelt werden können.
- Alvine\Core\Alvine
- Alvine\Markup\Html\Tokenizer
Namespace: Alvine\Markup\Html
Package: Alvine\Markup\Html
Category: Alvine
License: Alvine Nutzungslizenz
Author: schukai GmbH info@schukai.de
Version: $Revision:$
Since: 20150205
Link: alvine.io
Link: http://www.w3.org/TR/html5/syntax.html#tokenization
Located at Tokenizer.class.php
Package: Alvine\Markup\Html
Category: Alvine
License: Alvine Nutzungslizenz
Author: schukai GmbH info@schukai.de
Version: $Revision:$
Since: 20150205
Link: alvine.io
Link: http://www.w3.org/TR/html5/syntax.html#tokenization
Located at Tokenizer.class.php
public
|
#
__construct(
Neue Instanz |
public
|
|
public
|
|
public
string
|
|
public
string(1)
|
|
public
|
|
public
|
#
reconsumeCharacter( integer $count )
Den Lese-Zeiger um die übergebene Anzahl $count Zeichen zurückstellen. Es werden $count Zeichen erneut ausgelesen. |
public
|
#
switchState(
Statuswechsel des Tokenizer. Mit dem Statuswechsel wird implizit auch die State::parse Methode aufgerufen. |
public
|
|
public
|
#
emitToken(
Einen neu erstellten Token auf den Token-Stack legen und den token als emittiert markieren. Beim Aufruf der Methode wird der Token direkt an den Dispatcher des Treebuilders übergeben. |
public
|
|
public
|
|
public
|
#
raiseParseError( )
Fehler beim Parsen des Streams sammeln und für die weitere Verarbeitung ausgeben. |
public
array
|
protected
|
$stream
|
|
protected
|
$tokenStack
|
|
protected
|
$state
|
|
protected
array
|
$parseError
|
|
protected
|
$treeConstructor
|
|
protected
array
|
$temporaryBuffer
|