La World Wide Web constituye la mayor fuente existente de textos escritos en una gran variedad de idiomas. Una forma viable y sólida de explotar estos datos para la investigación lingüística es compilar un corpus estático para un idioma determinado. Este enfoque tiene varias ventajas: (i) trabajar con estos corpus evita los problemas que surgen al utilizar motores de búsqueda de Internet en la investigación lingüística cuantitativa (como los algoritmos de clasificación no transparentes); (ii) crear un corpus a partir de datos web es prácticamente gratuito; (iii) el tamaño de los corpus compilados a partir de la WWW puede superar en varios órdenes de magnitud el tamaño de los recursos lingüísticos ofrecidos en otros lugares; (iv) los datos están disponibles localmente para el usuario, y pueden ser posprocesados ​​lingüísticamente y consultados con las herramientas que prefiera. Este libro aborda las principales tareas prácticas en la creación de corpus web de tamaño de hasta gigatoken. Entre estas tareas se encuentran el proceso de muestreo (es decir, el rastreo web) y las limpiezas habituales, incluida la eliminación de código repetitivo y la eliminación de contenido duplicado. También se aborda el procesamiento lingüístico y los problemas que plantean los distintos tipos de ruido en los corpus web. Por último, los autores muestran cómo se pueden evaluar los corpus web y compararlos con otros corpus (como los corpus compilados tradicionalmente).

Autor: Schäfer, Roland
Autor: Bildhauer, Felix
Editorial: Morgan & Claypool Publishers
Ilustración: n
Idioma: ENG
Título: Construcción de corpus web
Páginas: 00145 (EPUB cifrado)
A la venta: 01-07-2013
Código SKU-13/ISBN: 9781608459834
Categoría: Computadoras: Procesamiento del lenguaje natural
Categoría: Artes y disciplinas del lenguaje: Lingüística - General
Categoría: Computadoras: modelado y diseño de datos