¿Qué es el análisis sintáctico de datos?
El análisis sintáctico de datos es un término que se utiliza a menudo cuando se trabaja con grandes cantidades de datos, sobre todo para quienes extraen datos de la web y para los ingenieros de software. Sin embargo, el análisis sintáctico de datos es un tema que debe tratarse en profundidad. Por ejemplo, ¿qué es exactamente el análisis sintáctico de datos y cómo se realiza?
El análisis sintáctico de datos es un término que se utiliza a menudo cuando se trabaja con grandes cantidades de datos, sobre todo en el caso de quienes extraen datos de la web y de los ingenieros de software. Sin embargo, el análisis sintáctico de datos es un tema que debe tratarse en profundidad. Por ejemplo, qué es exactamente el análisis sintáctico de datos y cómo se aplica en el mundo real.
Este artículo responderá a todas las preguntas anteriores y proporcionará una visión general de las terminologías significativas asociadas al análisis sintáctico de datos.
¿Qué significa analizar?
Cuando se extraen grandes cantidades de datos del web scraping, están en formato HTML. Por desgracia, no es un formato legible para cualquier persona que no sea programador. Así que hay que seguir trabajando en los datos para convertirlos en un formato legible para el ser humano y que resulte conveniente para el análisis por parte de los científicos de datos. Es el analizador sintáctico el que realiza la mayor parte de este trabajo.
¿Qué hace un analizador de datos?
Un analizador sintáctico convertirá los datos de un formato en datos de otra forma. Por ejemplo, el analizador sintáctico convertirá los datos HTML obtenidos mediante scraping en JSON, CSV e incluso una tabla, de modo que estén en un formato que pueda leer y analizar. También vale la pena mencionar que el analizador sintáctico no está vinculado a ningún formato de datos en particular.
El analizador no analiza todas las cadenas HTML porque un buen analizador distinguirá los datos necesarios en las etiquetas HTML del resto.
Diferentes tecnologías que utilizan analizadores sintácticos
Como se ha mencionado en la sección anterior, al no estar vinculado a una tecnología concreta, el analizador sintáctico es excepcionalmente flexible por naturaleza. Por ello, una gran variedad de tecnologías lo utilizan:
Lenguajes de scripting- son los lenguajes que no necesitan un compilador para su ejecución ya que se ejecutan en base a una serie de comandos dentro de un archivo. Ejemplos típicos son PHP, Python y JavaScript.
Java y otros lenguajes de programación- Los lenguajes de programación de alto nivel, como Java, utilizan un compilador para convertir el código fuente en lenguaje ensamblador. El analizador sintáctico es un componente importante de estos compiladores que crea una representación interna del código fuente.
HTML y XML: en el caso de HTML, el analizador extrae el texto de las etiquetas HTML, como títulos, encabezados, párrafos, etc. Mientras que un analizador XML es una biblioteca que facilita la lectura y manipulación de documentos XML.
SQL y lenguajes de bases de datos- El analizador SQL, por ejemplo, analiza una consulta SQL y genera los campos definidos en la consulta SQL.
Lenguajes de modelado: el análisis sintáctico de los lenguajes de modelado permite a desarrolladores, analistas y partes interesadas comprender la estructura del sistema que se está modelando.
Lenguajes de datos interactivos: se emplean en el tratamiento interactivo de grandes cantidades de datos, incluidas las ciencias espaciales y la física solar.
¿Por qué es necesario analizar los datos?
La razón principal de la necesidad del análisis sintáctico es que diversas entidades necesitan datos en formatos diferentes. Así pues, el análisis sintáctico permite transformar los datos para que un humano o, en algunos casos, el software puedan entenderlos. Un ejemplo destacado de esto último son los programas informáticos. Primero, los humanos los escriben en un formato que puedan entender con un lenguaje de alto nivel análogo a un lenguaje natural como el inglés que utilizamos a diario. Después, los ordenadores los traducen a un formato hasta código a nivel de máquina que los ordenadores comprenden.
El análisis sintáctico también es necesario en situaciones en las que es necesaria la comunicación entre dos programas diferentes, por ejemplo, al serializar y deserializar una clase.
Terminología y estructura del analizador sintáctico
Hasta este momento, conoces los conceptos fundamentales del análisis sintáctico de datos. Ahora es el momento de explorar los conceptos significativos asociados con el análisis sintáctico de datos y cómo funciona el analizador sintáctico.
Terminología
Expresiones regulares
Las expresiones regulares son una serie de caracteres que definen un patrón determinado. Son las más utilizadas por los lenguajes de alto nivel y de scripting para validar una dirección de correo electrónico o una fecha de nacimiento. Aunque se consideran inadecuadas para el análisis sintáctico de datos, pueden utilizarse para analizar entradas sencillas. Este error se debe a que algunos programadores utilizan expresiones regulares para todas las tareas de análisis sintáctico, incluso cuando se supone que no deben utilizarse. En tales circunstancias, el resultado es una serie de expresiones regulares pirateadas.
Puede utilizar expresiones regulares para analizar algunos lenguajes de programación sencillos, también conocidos como lenguajes regulares. Sin embargo, esto no incluye HTML, que puede considerarse un lenguaje sencillo. Esto se debe al hecho de que dentro de las etiquetas HTML, encontrarás cualquier número de etiquetas arbitrarias. Además, según su gramática, tiene elementos recursivos y anidados que no puedes clasificar como lenguaje regular. Por lo tanto, no podrá analizarlos por muy inteligente que sea.
Gramáticas
La gramática es un conjunto de reglas que describen sintácticamente un lenguaje. Por tanto, sólo se aplica a la sintaxis y no a la semántica de una lengua. En otras palabras, la gramática se aplica a la estructura de una lengua y no a su significado. Veamos el siguiente ejemplo:
HI: "HI"
NOMBRE [a-zA-z] +
Saludos: HI NOMBRE
Dos de las posibles salidas para el trozo de código anterior pueden ser "HI SARA" o "HI Codificación". En lo que respecta a la estructura del lenguaje, ambas son correctas. Sin embargo, en la segunda salida, dado que "Codificación" no es el nombre de una persona, es incorrecta semánticamente.
Anatomía de la gramática
Podemos observar la anatomía de la gramática con las formas más utilizadas, como la Forma Backus-Naur (BNF). Esta forma tiene sus variantes, como la forma Backus-Naur ampliada, que indica repetición. Otra variante de BNF es la Forma Backus-Naur Aumentada. Se utiliza cuando se describen protocolos de comunicación bidireccionales.
Cuando se utiliza una regla típica en forma Backus-Naur, tiene el siguiente aspecto:
<symbol> : : _expression_
The <symbol> is nonterminal, which means you can replace it with elements on the right, _expression_. The _expression_ could contain terminal symbols as well as nonterminal symbols.
Ahora te estarás preguntando qué son los símbolos terminales. Bueno, son los que no aparecen como símbolo en ningún componente de la gramática. Un ejemplo típico de símbolo terminal es una cadena de caracteres como "Programa".
Dado que una regla como la anterior define técnicamente la transformación entre el no terminal y el grupo de no terminales y terminales de la derecha, puede denominarse regla de producción.
Tipos de gramáticas
Existen dos tipos de gramáticas: las gramáticas regulares y las gramáticas libres de contexto. Las gramáticas regulares se utilizan para definir un lenguaje común. También existe un tipo de gramática más reciente conocida como Parsing Expression Grammar (PEG), que representa lenguajes libres de contexto y también son potentes como gramáticas libres de contexto. En cualquier caso, la diferencia entre ambos tipos depende de la notación y de cómo se implementen las reglas.
Una manera más fácil que usted podría diferenciar entre dos gramáticas son los _expression_, o el lado derecho de la regla podría ser en forma de :
- Una cadena vacía
- Un símbolo de terminal único
- A un símbolo terminal le sigue un símbolo no terminal.
En realidad, es más fácil decirlo que hacerlo, porque una herramienta concreta podría permitir más símbolos terminales en una definición. Entonces podría transformar la expresión en una serie correcta de expresiones que pertenezca a cualquiera de los casos anteriores.
Así, incluso una expresión vulgar que escribas se transformará en forma adecuada, aunque no sea compatible con un lenguaje natural.
Componentes de un analizador sintáctico
Como el analizador sintáctico es responsable de analizar una cadena de símbolos en un lenguaje de programación conforme a las reglas gramaticales que acabamos de comentar, podemos desglosar la funcionalidad del analizador sintáctico en un proceso de dos pasos. Normalmente, se ordena al analizador sintáctico que lea, analice y transforme mediante programación los datos no estructurados en un formato estructurado.
Los dos componentes principales de un analizador sintáctico son el análisis léxico y el análisis sintáctico. Además, algunos analizadores sintácticos también implementan un componente de análisis semántico que toma los datos estructurados y los filtra como: positivos o negativos, completos o incompletos. Aunque se puede suponer que este proceso mejora aún más el proceso de análisis de datos, no siempre es así.
El análisis semántico no está incorporado en la mayoría de los analizadores sintácticos debido a las prácticas más favorecidas del análisis semántico humano. Por tanto, el análisis semántico debe ser un paso adicional y, si piensa llevarlo a cabo, debe complementar sus objetivos empresariales.
Analicemos a continuación los dos procesos principales del analizador sintáctico.
Análisis léxico
Su función es transformar una secuencia de datos brutos no estructurados o de caracteres en tokens. A menudo, esta cadena de caracteres que entra en el analizador sintáctico está en formato HTML. A continuación, el analizador sintáctico crea tokens utilizando unidades léxicas, como palabras clave, identificadores y delimitadores. Simultáneamente, el analizador sintáctico ignora los datos léxicamente irrelevantes que hemos mencionado en la sección introductoria. Por ejemplo, se incluyen los espacios en blanco y los comentarios dentro de un documento HTML.
Después de que el analizador sintáctico descarte los tokens irrelevantes durante el proceso léxico, el resto del proceso de análisis sintáctico se ocupa del análisis sintáctico.
Análisis sintáctico
Esta fase del análisis sintáctico de datos consiste en construir un árbol de análisis sintáctico. Esto implica que, después de crear los tokens, el analizador los ordena en un árbol. Durante este proceso, los tokens irrelevantes también se capturan en la estructura de anidamiento del propio árbol. Entre los elementos irrelevantes se incluyen los paréntesis, los puntos y comas y las llaves.
Para que lo entiendas mejor, vamos a ilustrarlo con una sencilla ecuación matemática: (a*2)+4
el Lexer del analizador sintáctico los descompondrá en tokens de la siguiente manera:
( => Paréntesis
a => Valor
* => Multiplicar
2 => Valor
)=> Paréntesis
+ => Más
4 => Valor
A partir de entonces el árbol de análisis sintáctico se construiría como a continuación .:
Cuando el analizador sintáctico extraiga datos de elementos HTML, seguirá el mismo principio.
¿Analizador interno o externo?
Ahora ya conoces los aspectos fundamentales de un analizador sintáctico. Ahora ha llegado el momento del apasionante aspecto de si construir tu propio analizador sintáctico o subcontratar uno. En primer lugar, veamos los pros y los contras de cada método.
Ventajas de un analizador interno
La creación de un analizador sintáctico propio tiene numerosas ventajas. Una de las principales ventajas es que tendrás más control sobre las especificaciones. Además, como los analizadores sintácticos no están restringidos a un único formato de datos, puedes permitirte el lujo de personalizarlos para adaptarlos a distintos formatos de datos.
Otras ventajas importantes son el ahorro de costes y el control de la actualización y el mantenimiento del analizador sintáctico incorporado.
Contras del analizador sintáctico interno
El analizador sintáctico interno no está exento de inconvenientes. Uno de los inconvenientes más importantes es que consumiría mucho de tu valioso tiempo cuando tienes un control sustancial sobre su mantenimiento, actualizaciones y pruebas. El otro inconveniente sería si puede comprar y construir un servidor potente para analizar todos sus datos más rápido de lo que necesita. Por último, tendría que formar a todo su personal interno para construir el analizador sintáctico e impartir formación sobre él.
Ventajas de un analizador externo
Cuando externalice un analizador sintáctico, ahorrará el dinero que gasta en recursos humanos, ya que la empresa compradora le proporcionará todas las tareas, incluidos los servidores y el analizador sintáctico. Además, tendrá menos probabilidades de enfrentarse a errores importantes, ya que es más probable que la empresa que lo ha construido pruebe todos los escenarios antes de lanzarlo al mercado.
Si se produce algún error, la empresa a la que haya comprado el analizador le prestará asistencia técnica. También ahorrará mucho tiempo, ya que la toma de decisiones sobre la creación del mejor analizador sintáctico procederá de la externalización.
Contras de un analizador externo
Aunque la externalización tiene numerosas ventajas, también presenta inconvenientes. Los principales inconvenientes son la personalización y el coste. Dado que la empresa de análisis sintáctico ha creado la funcionalidad completa, el coste sería mayor. Además, su control total de la funcionalidad del analizador sintáctico sería limitado.
Conclusión
En este extenso artículo, usted ha aprendido acerca de cómo funciona el analizador sintáctico, y el proceso de análisis de datos en general, y sus fundamentos. El análisis sintáctico de datos es un proceso largo y complicado. Cuando tengas la oportunidad de experimentar el análisis sintáctico de datos de forma práctica, estarás bien equipado con una gran cantidad de conocimientos para llevarlo a cabo con eficacia.
Esperamos que utilice estos conocimientos de forma eficaz.