Class Tokenizer

Der Tokenizer zerlegt einen Zeichenstream in einzelne Tokens, die mittels TreeBuilder zu einem Dokument umgewandelt werden können.

Alvine\Core\Alvine

Alvine\Markup\Html\Tokenizer

Namespace: Alvine\Markup\Html
Package: Alvine\Markup\Html
Category: Alvine
License: Alvine Nutzungslizenz
Author: schukai GmbH info@schukai.de
Version: $Revision:$
Since: 20150205
Link: alvine.io
Link: http://www.w3.org/TR/html5/syntax.html#tokenization
Located at Tokenizer.class.php

Methods summary
`public`	# `__construct( Alvine\Markup\Html\InputStream $stream, Alvine\Markup\Html\TreeConstructor $treeConstructor )` Neue Instanz Neue Instanz Parameters `$stream` Input-Stream `$treeConstructor` TreeBuilder
`public Alvine\Markup\Html\Tokenizer`	# `resetTemporaryBuffer( )` Temporären Zeichenbuffer auf '' setzen Temporären Zeichenbuffer auf '' setzen Returns `Alvine\Markup\Html\Tokenizer` Link http://www.w3.org/TR/html5/syntax.html#temporary-buffer
`public Alvine\Markup\Html\Tokenizer`	# `appendCharacterToTemporaryBuffer( string $char )` Zeichen zum temporären Zeichenbuffer hinzufügen Zeichen zum temporären Zeichenbuffer hinzufügen Parameters `$char` Zeichen Returns `Alvine\Markup\Html\Tokenizer`
`public string`	# `getTemporaryBuffer( )` Temporärer Zeichenbuffer auslesen Temporärer Zeichenbuffer auslesen Returns string
`public string(1)`	# `consumeNextInputCharacter( )` Das nächste zu verarbeitende Zeichen Das nächste zu verarbeitende Zeichen Returns string(1)
`public Alvine\Markup\Html\Tokenizer`	# `reconsumeCurrentCharacter( )` Den Lese-Zeiger des Streams um eins zurückdrehen Den Lese-Zeiger des Streams um eins zurückdrehen Returns `Alvine\Markup\Html\Tokenizer`
`public Alvine\Markup\Html\Tokenizer`	# `reconsumeCharacter( integer $count )` Den Lese-Zeiger um die übergebene Anzahl $count Zeichen zurückstellen. Es werden $count Zeichen erneut ausgelesen. Den Lese-Zeiger um die übergebene Anzahl $count Zeichen zurückstellen. Es werden $count Zeichen erneut ausgelesen. Parameters `$count` Anzahl Returns `Alvine\Markup\Html\Tokenizer`
`public Alvine\Markup\Html\Tokenizer`	# `switchState( Alvine\Markup\Html\Tokenizer\State $state )` Statuswechsel des Tokenizer. Mit dem Statuswechsel wird implizit auch die State::parse Methode aufgerufen. Statuswechsel des Tokenizer. Mit dem Statuswechsel wird implizit auch die State::parse Methode aufgerufen. Parameters `$state` Neuer Status Returns `Alvine\Markup\Html\Tokenizer`
`public Alvine\Markup\Html\Tokenizer\State`	# `getCurrentState( )` Aktuell verwendeter Status Aktuell verwendeter Status Returns `Alvine\Markup\Html\Tokenizer\State`
`public Alvine\Markup\Html\Tokenizer`	# `emitToken( Alvine\Markup\Html\Tokenizer\Token $token )` Einen neu erstellten Token auf den Token-Stack legen und den token als emittiert markieren. Beim Aufruf der Methode wird der Token direkt an den Dispatcher des Treebuilders übergeben. Einen neu erstellten Token auf den Token-Stack legen und den token als emittiert markieren. Beim Aufruf der Methode wird der Token direkt an den Dispatcher des Treebuilders übergeben. treeConstructor::dispatch($token) Parameters `$token` Returns `Alvine\Markup\Html\Tokenizer` Throws `Alvine\Markup\Html\TokenizerException`
`public Alvine\Markup\Html\Tokenizer\Token`	# `getCurrentToken( )` Aktueller Token Aktueller Token Returns `Alvine\Markup\Html\Tokenizer\Token`
`public Alvine\Markup\Html\TokenStack`	# `getTokenStack( )` TokenStack TokenStack Returns `Alvine\Markup\Html\TokenStack`
`public Alvine\Markup\Html\Tokenizer`	# `raiseParseError( )` Fehler beim Parsen des Streams sammeln und für die weitere Verarbeitung ausgeben. Fehler beim Parsen des Streams sammeln und für die weitere Verarbeitung ausgeben. Die Logmeldungen werden auch an den Logger LoggerDefaultName::VIEW übergeben und können mittels Trace-Level eingesehen werden. Returns `Alvine\Markup\Html\Tokenizer`
`public array`	# `getParseErrors( )` Fehlermeldungen Fehlermeldungen Returns array

Properties summary
`protected Alvine\Markup\Html\InputStream`	`$stream`	#
`protected Alvine\Markup\Html\TokenStack`	`$tokenStack`	#
`protected Alvine\Markup\Html\Tokenizer\State`	`$state`	#
`protected array`	`$parseError`	#
`protected Alvine\Markup\Html\TreeConstructor`	`$treeConstructor`	#
`protected array`	`$temporaryBuffer` Link http://www.w3.org/TR/html5/syntax.html#temporary-buffer	#

Namespaces

Classes

Interfaces

Class Tokenizer

Parameters

Returns

Link

Parameters

Returns

Returns

Returns

Returns

Parameters

Returns

Parameters

Returns

Returns

Parameters

Returns

Throws

Returns

Returns

Returns

Returns

Link