Las funciones de la extensión tokenizer proporcionan una interfaz para la creación de tokens de PHP integrada en el Motor Zend. Utilizando estas funciones se pueden escribir herramientas propias de análisis o de modificación de código fuente de PHP, sin tener que hacer frente a las especificaciones del lenguaje a nivel léxico.
Véase también el apéndice sobre tokens.