黄聪:搜索引擎原理系列教程

【课程内容】



1.1.1、搜索引擎的工作原理-基础要求

1.1.2、搜索引擎工作原理-网页搜索基础简介

1.1.3、搜索引擎工作原理-预处理基础简介

1.1.4、搜索引擎工作原理-查询服务基础简介

1.1.5、搜索引擎工作原理-体系结构

2.1、页面搜集原理、技术和系统-基础知识

2.2、页面搜集原理、技术和系统-搜集过程

2.3、页面搜集原理、技术和系统-天网存储结构定义

2.4、页面搜集原理、技术和系统-如何避免网页重复搜集

2.5、页面搜集原理、技术和系统-如何首先搜集重要的网页

2.6.1、可扩展搜索子系统-节点间URL的划分策略

2.6.2、可扩展搜索子系统-系统的动态可配置性设计

2.6、页面搜集原理、技术和系统-可扩展搜索子系统

3.1.1、搜集信息的预处理-索引网页库

3.1.2、搜集信息的预处理-中文分词技术

3.1.3、搜集信息的预处理-分析页面和建立倒排文件

3.1、搜集信息的预处理-系统结构

3.2.1、搜集信息的预处理-净化与数据提取

3.2.2、搜集信息的预处理-网页消重

3.2、搜集信息的预处理-网页净化和消重

4.1、搜集引擎信息查询服务-网页信息检索

4.2、搜集引擎信息查询服务-中文自动摘要

4.3、搜集引擎信息查询服务-生成搜索结果页

4.4、搜集引擎信息查询服务-搜索结果页缓存

5.1、用户行为分析-用户查询与点击日志

5.2、用户行为分析-查询日志分析

5.3、用户行为分析-点击日志分析

6.1、相关排序-网页权重的计算

6.2、相关排序-网页词项权重的计算

6.3、相关排序-链接权值的计算

6.4、相关排序-用户评价权值的计算

6.5、相关排序-最终权值的计算

7、中文网页自动分类技术

8、搜索引擎工作原理总结

附1、如何在WIN7下使用Virtualbox安装Ubuntu

附2、如何搭建TSE搜索引擎

附3、如何让TSE搜索引擎重新抓取网页