网站重复页面过多最终导致排名下降日期：2012/12/10 13:01:39　　

　　各人都知道搜刮引擎抓取网站，并接纳快照排名有三个步调，这篇文章的焦点是“索引”这内里的“去重”关键，去重也便是去失重复的内容事情。网页去重的紧张性有多大?各人可以去搜刮下有许多光显的案例。我先叙述下我所相识到的信息。
　　去重所处的位置：SE抓网页-阐发-去重-建索引
　　爬虫遵照的协议集: socket编程, http协议阐发
　　网页剖析: 词法剖析,编译原理,html协议
　　去重: url消重,文本关键词提取,频度阐发 (这个最难)
　　去重算法我5、6月份时间也曾搜刮了一段时间，无功而返。运营bbs的童靴应对“去重”加以器重!各人都晓得论坛的垃圾内容容易太多了，注水严峻导致大量的和网站主题不干系的内容出现，误导SE以为你的站内容和你的meta里信息不切合，终极导致排名降落。