Definición - ¿Qué significa análisis léxico?
El análisis léxico es un concepto que se aplica a la informática de forma muy similar a la que se aplica a la lingüística. Básicamente, el análisis léxico significa agrupar un flujo de letras o sonidos en conjuntos de unidades que representan una sintaxis significativa. En lingüística, se llama análisis sintáctico y, en informática, se puede llamar análisis sintáctico o tokenización.
Techinfo explica el análisis léxico
La idea del análisis léxico en la informática es que el análisis léxico se divide en "lexemas", donde una ficha representa la unidad básica de significado. Los tokens están encadenados de tal manera que el compilador del lenguaje debe volver atrás y aislarlos para implementar las instrucciones de computación correctas. Básicamente, tanto los humanos como las computadoras hacen análisis léxico, pero las computadoras lo hacen de manera diferente y de una manera mucho más técnica. La forma en que las computadoras realizan el análisis léxico no necesita ser transparente para los humanos, solo tiene que estar programada en el sistema informático. Los programas que realizan análisis léxico en informática a menudo se denominan lexers, tokenizadores o escáneres.