Para implementar um analisador léxico é necessário ter uma descrição dos lexemas, então, podemos escrever o código que irá identificar a ocorrência de cada lexema e identificar cada cadeia de caractere casando com o padrão.
O objetivo principal da análise léxica é identificar sequências de caracteres que constituem unidades léxicas ("tokens"). ... O analisador léxico tem a função de ler uma sequência de caracteres que constitui um programa fonte e coleta, dessa sequência, os tokens que constituem esse programa.
Quando analisamos uma palavra, podemos definir através da análise léxica se existe ou não algum caractere que não faz parte do nosso alfabeto, ou um alfabeto inventado por nós. É a primeira etapa do processo de compilação e seu objetivo é dividir o código fonte em símbolos, preparado-o para a Análise Sintática.
A análise sintática de uma linguagem de programação de programação trata dos aspectos livres de contexto da LP. Estes aspectos são representados por uma gramática que é baseada nos átomos (tokens) da LP, que são fornecidos pelo analisador léxico.
A definição lexical de um termo, também conhecida como definição do dicionário, é o significado do termo em uso comum. ... Significados das palavras dadas em um dicionário são definições lexicais. Como uma palavra pode ter mais de um significado, também pode ter mais de uma definição lexical.
O estudo da morfologia diz respeito à classificação das palavras de acordo com as suas características. São as famosas 10 classes gramaticais. Já a sintaxe define a função (concordância, regência) e a posição (ordem direta da oração – SVC) das palavras e expressões em um período.
A Semântica é a área da Linguística que estuda o significado das palavras, das frases, das expressões, etc., em um contexto específico. ... Essa relação entre os diferentes significados de uma palavra é chamada de relação de sentido.