(PHP 8)
Esta classe fornece uma alternativa para token_get_all(). Embora a função retorne tokens como uma string de um único caractere ou um array com um ID de token, texto de token e número de linha, PhpToken::tokenize() normaliza todos os tokens em objetos PhpToken, o que torna o código que opera em tokens mais eficientes em termos de memória e mais legíveis.
Uma das constantes T_* ou um ponto de código ASCII representando um token de caracter único.
O conteúdo textual do token.
O número da linha inicial (com base em 1) do token.
A posição inicial (com base em 0) na string tokenizada (o número de bytes).