世界之窗论坛 - Powered by Discuz! Board

标题: 很牛很牛的广告过滤方法0531上传1hosts文件 [打印本页]

作者: 土匪 时间: 2007-5-26 08:13 标题: 很牛很牛的广告过滤方法0531上传1hosts文件

刚刚突然想到,对于正常的网页内容,一般都来自我们要访问的那个站点域名,举例,www.sina.com.cn的站点文档是从服务器www.sina.com.cn下载的,而它上面的广告,图片呢,则是下载了www.sina.com.cn这个主页的文档后,从专门的广告图片服务器下载的.因此,觉得一种另类的广告过滤方式会相当的牛

DNS过滤方式.
原理:
访问站点,通常是使用域名进行访问的.但真正要下载到站点内容,是需要对域名进行DNS解析为对应主机的IP后才能与之进行通信的.因此,照例以sina举例,我们可以采取对DNS域名的解析控制来实现广告过滤(超级另类吧,嘿嘿)

(这个方法实现的原理是ad与站点内容不在一个服务器,TW如果要做,可以在http请求上进行过滤,对于非目标页面的浏览请求,予以过滤!这个功能相当强大,比黑名单强多了...开发组如果没有想到过,不妨试试?如果想到过了,就肯定有你们不这样做的理由了...那此话题到此为止,呵呵.我对浏览器的页面加载方式不了解,如果说错了,开发组请见谅^_^)
刚刚重新去主页读了下2.0的过滤方式:

世界之窗浏览器的黑名单过滤采用直接从HTTP协议底层过滤的方法，配合内建支持的正则表达式，可以过滤任何您不想要的内容。世界之窗浏览器的黑名单过滤采用直接从HTTP协议底层过滤的方法，配合内建支持的正则表达式，可以过滤任何您不想要的内容。

这个就是采用底层过滤方式吧?我觉得更可以这样做,完全屏蔽非当前页面域名的连接请求.这样做当然在当前应该可以把广告过滤光光...问题就是当前页面可能存在的合理的连接请求也被屏蔽掉,比如一个网络歌曲引连接.有选择的放行就可以了..哈哈.从黑名单过滤的兼容性看来,这个的确相当的不容易,也很有想法,赞一下开发组这个创意.俺对别的浏览器不了解,不知道他们有没有想到了从html底层进行过滤了呢?

解释:
DNS解析:把域名解析为主机对应的IP地址.例如,论坛域名bbs.ioage.com,访问的时候首先要通过DNS服务器查询bbs.ioage.com的IP地址,之后才能进行访问.

如何看我的DNS服务器?
开始菜单→运行,输入 "cmd" 回车,在命令行窗口输入 "ipconfig -all"(引号不要打进去,仅仅是我为了便于大家理解而加的) 回车,就可以看到本地IP,DNS配置信息.其中一项为 DNS Server,如图所示:
[attach]23720[/attach]
好了,知道DNS服务器了,那么,我们怎么来限制DNS解析?
首先说说windows的域名解析过程:
用户程序发出一个域名访问请求:比如,我在浏览器输入bbs.ioage.com,要求访问bbs.ioage.com,如上所说的,这就需要进行DNS解析,这个时候,windows对浏览器的域名解析,首先不是访问DNS服务器,而是查看本地DNS缓存.
在X:\WINDOWS\system32\drivers\etc文件夹下面(X为你的XP系统所在分区盘符,一般为C,你可以把

C:\WINDOWS\system32\drivers\etc

复制代码

复制到地址栏进行快速访问),有一个文件叫hosts 这个文件可以用记事本程序打开.打开后,你会发现,里面有一些IP 与域名的项目,有可能多,有可能少,也可能只有一个或者没有.如图:
[attach]23721[/attach]
重头戏在这里了.擦亮眼睛啦!
回到上面的例子,我要访问的是www.sina.com.cn,同时我希望实现广告过滤.好.我先查询www.sina.com.cn对应的IP地址是什么.
同样,在命令行窗口,输入ping www.sina.com.cn,就可以看到该域名对应的IP地址:
[attach]23722[/attach]
我们把这个地址添加进hosts,怎么添加呢?
格式为
IP地址域名

202.108.33.32 sina.com.cn

复制代码

在文件下面空白一行添加,保存就OK.
到这里,还不能过滤广告的.
要实现广告过滤,就要让不希望的广告的域名不能解析.怎么做到?
既然上面已经把我要访问的站点IP进行解析了(添加了hosts文件的那一步)
那么,我就可以通过禁用DNS服务器来达到对非期望的域名的DNS禁止(太绝了)..
如何禁止DNS服务器?
哈哈,DNS服务器的指定,一般都是2中方法:
1.手动指定.
2.动态获取.
不管是以上什么状态,我都可以用一招搞定:
指定一个无效的DNS服务器地址.
如何指定?
打开网络连接,右击本地连接→属性→Internet协议(TCP/IP)→属性→常规→使用下面的DNS服务器地址.
输入一个与前面查到的DNS服务器不一样的地址,只要不是DNS服务器就可以了,任意加.我这里例子加了192.168.0.1
[attach]23723[/attach]
点击确定,保存.
好了,到这里就完全实现了对www.sina.com.cn页面的完全广告过滤,是一滴不漏.但你也无法访问别的页面.为什么?不能解析DNS呗

这个方法叫DNS白名单方法.只有hosts文件指定的域名才可以访问,其它域名都不能访问.
我们可以根据这个原理,来一个黑名单禁止的过滤方式,该方式中,只有在黑名单里的域名才不能解析,当然,黑名单就是广告所在域名了.具体怎么做先不说.看看有没有反应先.

哈哈,有耐心看了这里的朋友,如果有兴趣这样做,还是别的什么意见,建议,评论,都可以跟帖说出.
(偷偷告诉你,这个招,可以有效遏制需要DNS解析的木马哦

)
浏览体验:sina不再像以前那么卡了

上传1hosts文件,来自深山红叶

[ 本帖最后由土匪于 2007-5-31 15:54 编辑 ]

作者: 土匪 时间: 2007-5-26 08:15

附上一个sina首页使用DNS黑名单方式后访问的效果图,有点难看

:
[attach]23724[/attach]

作者: 41402169 时间: 2007-5-26 09:26

这个以前知道啦还是顶下

ie里不是也有黑名单吗

作者: WeeVee 时间: 2007-5-26 09:33

过滤图片嘛

作者: 囚中城 时间: 2007-5-26 09:41

有点技术，，，有点复杂。懂了8分

作者: grntq 时间: 2007-5-26 09:49

太复杂不实用

作者: needed 时间: 2007-5-26 10:35

很另类. 不过完全不现实

你试试过滤sina的广告看看

作者: elevenq 时间: 2007-5-26 10:39

原帖由 grntq 于 2007-5-26 09:49 发表 http://bbs.ioage.com/images/common/back.gif
太复杂不实用

by duckZCX 请勿回复纯表情，以避免不必要的跟风，谢谢合作。

[ 本帖最后由 duckZCX 于 2007-5-26 18:01 编辑 ]

作者: 混神 时间: 2007-5-26 10:43

TW2.0的页面过滤规则就是在服务器端过滤的，也是不用下载，而且比你这种好看多了~

作者: 土匪 时间: 2007-5-26 17:52

原帖由 needed 于 2007-5-26 10:35 发表 http://bbs.ioage.com/images/common/back.gif
很另类. 不过完全不现实
你试试过滤sina的广告看看

请你认真看2楼的截图.sina首页的广告,还有一个存在么?
回混神:
我没有加载2.0的黑名单,打开sina页面的时候,漂浮广告全部都是加载成功了的,只有上下滚动的时候,漂浮广告才被过滤掉.也就是说,这个过滤仅仅是在加载成功后的删除而已,流量已经发生.,看图
[attach]23773[/attach]

作者: 土匪 时间: 2007-5-26 17:54

原帖由 needed 于 2007-5-26 10:35 发表 http://bbs.ioage.com/images/common/back.gif
很另类. 不过完全不现实

你试试过滤sina的广告看看

如果完全不现实,我不会提出来的

这个方法有可能成为未来过滤广告的王道之一

广告商如果被我这种方式过滤广告,肯定会非常恼火

因为这样的浏览方式,压根儿就连下载都没下载过它的广告,嘿嘿

作者: cntime 时间: 2007-5-26 18:08

不能光DNS，大型网站都对应多个IP，你PINGwww.sina.com在不同地方得到的IP是不同的，人家有钱，不像我们一个域名只有一个IP~最好还是黑名单处理。TW老大的方法很好的....!!!!!!!!!!!!!

作者: makeit 时间: 2007-5-26 19:36

首先你说到的 ipconfig /all 根本没有用到语无伦次.

还有为什么要用什么所谓的白名单呢. 不觉得无聊吗?

你这样只可以访问 sina的主页  下面的栏目都不可以访问了.

这样很有意思吗?

如果真的要过滤

可以把广告的域名  解析到 127.0.0.1  这样这个域名就不可以访问了...

还有这东西怎么可能会用到广告过滤呢? 广告过滤过滤到一个域名???

这个方法只能把指定的域名禁止掉

http://www.x.com/ad.gif  只要过滤这个图片  要怎么做呢? 你想过没有?

有奶就是娘了? 败给楼主了. 你还真有才.

作者: makeit 时间: 2007-5-26 19:38

原帖由土匪于 2007-5-26 17:54 发表 http://bbs.ioage.com/images/common/back.gif

如果完全不现实,我不会提出来的
这个方法有可能成为未来过滤广告的王道之一
广告商如果被我这种方式过滤广告,肯定会非常恼火因为这样的浏览方式,压根儿就连下载都没下载过它的广告,嘿嘿

还王道... 楼主你可真有才....

作者: coolcool 时间: 2007-5-26 19:45

做了这么多，看到的竟然是一个千疮百孔的页面。
楼主，你真太有才了

作者: hope250 时间: 2007-5-26 19:49

TW是先请求目标网址的文件（源文件文本格式），获取目标文件（源文件）后，经过黑名单进行过滤，然后正式请求网页所包含的图片等媒体信息

复制代码

说的不对的话不要拼了老命拍我砖

作者: zrsheng 时间: 2007-5-26 20:08

高手的招，看不太懂，呵呵

作者: 土匪 时间: 2007-5-26 20:31 标题: 回12.13楼

非常不错.你们指出了我的方法里面还没有解决的问题

这个帖子的方法只是说明了一种另类的可能的广告过滤方式,但不是一个完整的可以使用的广告过滤方式
13楼

可以把广告的域名解析到 127.0.0.1 这样这个域名就不可以访问了...

还有这东西怎么可能会用到广告过滤呢? 广告过滤过滤到一个域名???

你应该也有一定的网络知识,你可以去仔细观察下,网站的广告,是不是跟你要访问的页面都在一个域名下

当前我常去的网站,起码sina.com.cn我发现不是一个网站的.

16楼:
你这个恐怕要老大来说才行,我也不是十分了解.我只可以肯定的是,输入网址www.sina.com.cn按回车后,新浪首页对我们有益的内容,就是2楼看得到的东西,全部在这次先下载了.之后再加载广告的.黑名单我的TW没有启用.因此,有了10楼展示的,页面静止时的广告.

作者: 土匪 时间: 2007-5-26 20:34

我欢迎大家提出各种不同的意见,我不会拍砖,放心

另外,"有才",俺可担当不起

作者: 9wis 时间: 2007-5-26 21:22

呵呵，楼主是土匪？！从良了也要顶啊！

作者: byyh 时间: 2007-5-26 21:42

最牛的过滤是→*.*→黑名单

作者: 土匪 时间: 2007-5-26 22:41

原帖由 9wis 于 2007-5-26 21:22 发表 http://bbs.ioage.com/images/common/back.gif
呵呵，楼主是土匪？！从良了也要顶啊！

我是21世纪的复古土匪,21世界的思想,继承揉合了土匪的某种性格..

作者: weiguo 时间: 2007-5-26 23:31

方法不错，有些游览器已经有了类似思路的产品，就是对一个页面中包含的所有的服务器做默认限制脚本，
有一定的局限性，就象你说的，对方要有一个专用的服务器地址来存放你不想要的，能过滤的都是转向性的内容，而被包含到当前服务器的，其他服务器的内容就没办法了
不过速度的确是上升了
[attach]23828[/attach]

作者: 81635631 时间: 2007-5-27 01:12

这个也是不用下载的``web迅雷的广告就可以这样过滤

作者: 土匪 时间: 2007-5-27 01:15

原帖由 weiguo 于 2007-5-26 23:31 发表 http://bbs.ioage.com/images/common/back.gif
方法不错，有些游览器已经有了类似思路的产品，就是对一个页面中包含的所有的服务器做默认限制脚本，
有一定的局限性，就象你说的，对方要有一个专用的服务器地址来存放你不想要的，能过滤的都是转向性的内容， ...

以后硬件再强一些,如果这种过滤方式成为主流的话,站点就可能把AD也放一个服务器,哈哈...
不过不太现实,那样的话,始终最不到AD在不同站点的复用,每个服务器都挂相同的AD的话又浪费资源..看来这种过滤方式还是有前途..

作者: starsoft 时间: 2007-5-27 08:21

这是得不尝失的方法,不说页面的错误,还有一些大网站的IP不一定总是固定的(大约是为了平衡负载),你会失去一些连接机会.

作者: ayuan0103 时间: 2007-5-27 08:49

不实用

作者: 土匪 时间: 2007-5-27 08:53

这个方法要一劳永逸的话,采用AD域名收集并对AD域名手动解析为无效IP或许会可能.只是这样做的话,消耗的人力颇大,也不具备智能性

这样或许会比较通用:
对于地址栏输入的域名所对应的目标机器返回的页面文档进行HTML过滤,非本域名视为AD,并有选择排除一些.mp3类后缀,对其放行.这样最终浏览器得到的显示文档就不会有AD了..

作者: lnbsd 时间: 2007-5-27 09:32

原帖由土匪于 2007-5-27 08:53 发表 http://bbs.ioage.com/images/common/back.gif
这个方法要一劳永逸的话,采用AD域名收集并对AD域名手动解析为无效IP或许会可能.只是这样做的话,消耗的人力颇大,也不具备智能性
这样或许会比较通用:
对于地址栏输入的域名所对应的目标机器返回的页面文 ...

这个办法有点太太笨啦

作者: Golu 时间: 2007-5-27 12:18

以前是用这种方法来屏蔽恶意网站的，现在用来屏蔽广告。看来现在的广告真实越来越糟人厌了。

作者: 土匪 时间: 2007-5-27 23:50

原帖由 lnbsd 于 2007-5-27 09:32 发表 http://bbs.ioage.com/images/common/back.gif

这个办法有点太太笨啦

你有好的方法,不妨提出来跟大家分享一下嘛:D

作者: hzggz 时间: 2007-5-28 02:11

这个方式会误杀一大片，如果想不误杀而又能过滤，就要具备至少2个条件：1、要访问网站的广告的ip不同于该网站的ip 2、要把所有提供广告的ip列入黑名单。要达成第一个条件需要网站和网站上的广告的发布者配合，是不是他们都肯配合呢（他们要知道是要过滤广告肯定不配合

）？要达成第二个条件需要天量的工作量，谁来做？
anyway，楼主这个提议虽然目前不现实，不过有创意是好的，说不定未来哪一天某些新技术或新规范的出现能解决这些问题呢，呵呵，鼓励一下。

作者: 土匪 时间: 2007-5-28 10:41

原帖由 hzggz 于 2007-5-28 02:11 发表 http://bbs.ioage.com/images/common/back.gif
这个方式会误杀一大片，如果想不误杀而又能过滤，就要具备至少2个条件：1、要访问网站的广告的ip不同于该网站的ip 2、要把所有提供广告的ip列入黑名单。要达成第一个条件需要网站和网站上的广告的发布者配合， ...

第一个条件,当前我认为有客观的存在条件:
1.站点的服务器资源有限,不会把广告与站点内容放在一个站点,特别是对于像sina等大型门户网站来说;
2.广告在大型门户,甚至很多别的网站有引用链接,也就是一个广告复用问题,这个链接量是相当巨大的,一般广告都带有图片类东西,下载量较大,对服务器要求会比较高,客观上也决定了AD不太可能与站点内容在一个服务器.
3.广告收入直接与广告流量挂钩.因此,广告商肯定也会选择一个性能优异的服务器去担当广告服务器,而不会用这个去跟页面服务器抢资源,要真那样,不是既页面打开有速度影响,同时广告投放量也存在瓶颈了嘛
以上3点,我觉得可以构成你提出的第一个条件了

至于第二点,如果要做的话,我的笨方法的确是不能具有通用性,但有针对性的对个人用户访问量最大的站点进行设置,工作量还是不会太大的

[ 本帖最后由土匪于 2007-5-28 10:49 编辑 ]

作者: 土匪 时间: 2007-5-28 10:45

原帖由 Golu 于 2007-5-27 12:18 发表 http://bbs.ioage.com/images/common/back.gif
以前是用这种方法来屏蔽恶意网站的，现在用来屏蔽广告。看来现在的广告真实越来越糟人厌了。

其实我并不是非常反对广告的,相反,像在电视上,看到一个有创意的广告的时候,我甚至也会觉得很不错

但现在的网页广告是怎么回事呢?搞得我的浏览体验很不爽

否则我也没有必要去屏蔽嘛.不知道要求广告过滤的朋友是不是也这种观点?

作者: 我在 时间: 2007-5-28 10:47

我只说一点哈，当然我没考证过

sina会笨到完全将AD放在一台独立服务器上？难道人家技术人员还不知道有站点屏蔽这个东西？另外，服务器要的是吞吐能力，数据处理能力，AD混放也不一定不可行啊。

楼主自己看着办

作者: 土匪 时间: 2007-5-28 10:50

原帖由我在于 2007-5-28 10:47 发表 http://bbs.ioage.com/images/common/back.gif
我只说一点哈，当然我没考证过

sina会笨到完全将AD放在一台独立服务器上？难道人家技术人员还不知道有站点屏蔽这个东西？另外，服务器要的是吞吐能力，数据处理能力，AD混放也不一定不可行 ...

可以不在一个服务器,但只要不是跟我要访问的内容在一个服务器,我就可以屏蔽

作者: hope250 时间: 2007-5-28 11:07

原帖由 hope250 于 2007-5-26 19:49 发表 http://bbs.ioage.com/images/common/back.gif
TW是先请求目标网址的文件（源文件文本格式），获取目标文件（源文件）后，经过黑名单进行过滤，然后正式请求网页所包含的图片等媒体信息

我还是坚持这一点，这样比较好

作者: weiguo 时间: 2007-5-28 11:25

没必要坚持什么，只是他现在的想法没有大范围的普遍意义，如果所有网站都这样，那过滤还省事了，大伙也不用为写规则犯愁了，现在每去一个站点，首要就是打开原文件，看上n分钟，然后花n小时写规则，然后看具体网页内容，

作者: 土匪 时间: 2007-5-28 11:29

原帖由 hope250 于 2007-5-28 11:07 发表 http://bbs.ioage.com/images/common/back.gif

我还是坚持这一点，这样比较好

黑名单是一种更细腻的过滤方式,呵呵.

作者: mcffade 时间: 2007-5-28 11:46

很多地方的广告我是看的。。。。所以广告过滤没开，但是我想过虑漂浮的那些广告，应该用哪个规则？

作者: 土匪 时间: 2007-5-28 12:03

原帖由 mcffade 于 2007-5-28 11:46 发表 http://bbs.ioage.com/images/common/back.gif
很多地方的广告我是看的。。。。所以广告过滤没开，但是我想过虑漂浮的那些广告，应该用哪个规则？

不使用黑名单过滤,TW2.0自动过滤漂浮广告(上下乱蹦那种)

作者: gdmzyejian 时间: 2007-5-28 12:35

怎么有那么多*在骂的？！
LZ提出的只是个设想，不完善的方面是可以改进的，我认为可以实现的可能！

By duckZCX 说人家不文明之前，想想自己好么？

[ 本帖最后由 duckZCX 于 2007-5-28 13:28 编辑 ]

作者: kisazhu 时间: 2007-5-28 13:38

有点异想天开哈

作者: lmfei 时间: 2007-5-28 14:47

容易误杀，而且过滤后的网页太难看了

作者: 土匪 时间: 2007-5-28 16:31

原帖由 lmfei 于 2007-5-28 14:47 发表 http://bbs.ioage.com/images/common/back.gif
容易误杀，而且过滤后的网页太难看了

美观是需要付出代价的.不用番茄XP就是我的理由之一

同样,极速浏览体验也是需要代价的啦.当然,像黑名单过滤,也是可以做到让界面恢复达到一定的美观效果的,只是俺现在没那个能耐

作者: deathkenli 时间: 2007-5-28 17:20

楼主牛逼!

如果人人都Copy楼主的host黑名单的话大网站肯定全都瘫了!

因为全世界都集中访问同一个IP的服务器

作者: kisazhu 时间: 2007-5-28 17:28

原帖由 deathkenli 于 2007-5-28 17:20 发表 http://bbs.ioage.com/images/common/back.gif
楼主牛逼!

如果人人都Copy楼主的host黑名单的话大网站肯定全都瘫了!

因为全世界都集中访问同一个IP的服务器

就算都访问也瘫不了，大型网站都是集群，高宽带，高负载。。。

作者: mutalisker 时间: 2007-5-28 17:56

楼主的想法是好的，并且1.x的拦截方式和很容易就实现楼主说的那种

比如把*ad*.sina.com.cn加入黑名单，就可以直接实现这种过滤了

黑名单过滤的难点其实并不在于拦截，要说拦截，方法很多，就我的感觉来说，黑名单拦截的重点其实是拦截后的版式整理

, 楼主这种极限的过滤方式并不适合普通用户来使用。过滤功能还在一直摸索，一直没有一个令我比较满意的方式，欢迎大家踊跃讨论

作者: 土匪 时间: 2007-5-28 18:30

原帖由 mutalisker 于 2007-5-28 17:56 发表 http://bbs.ioage.com/images/common/back.gif
楼主的想法是好的，并且1.x的拦截方式和很容易就实现楼主说的那种

比如把*ad*.sina.com.cn加入黑名单，就可以直接实现这种过滤了

黑名单过滤的难点其实并不在于拦截，要说拦截，方法很多，就我的感觉来说 ...

21世纪是信息世纪,广告其实也是信息的一部分.
在我的观念里,之所以我想过滤广告就是有些广告实在太差劲.称之为·并不过分.特别是那些严重拖累我机器的东西,实在是令我厌恶.
不过跟我个人性格有关吧,我不喜欢太花哨的东西,简单点好.像2.0的黑名单,用过几天,sina的右边全部没了,感觉太干净,也不太爽.现在我就没用黑名单了.仅仅把漂浮的去掉就可以了.机器不卡,在网络比较好的时候,我就可以接受了

以后,随着硬件的进一步升级,或许广告会变得更炫,但对资源的消耗应该也会跟着提升.汗一个...我机器硬件是为了广告而升的么??真晕ing.
干爽,简洁,利索的浏览体验,TW.所以我爱她

作者: whackers 时间: 2007-5-28 19:02

我晕。你不如过滤ad的网站。这样别的网站怎么上啊？

作者: google 时间: 2007-5-28 19:45

本来知道的，结果看了楼主的详细讲解后俺傻了

作者: 土匪 时间: 2007-5-28 20:14

原帖由 google 于 2007-5-28 19:45 发表 http://bbs.ioage.com/images/common/back.gif
本来知道的，结果看了楼主的详细讲解后俺傻了

那就是我的错了。我把本来简单的事情复杂化了？

欢迎光临世界之窗论坛 (http://bbs.theworld.cn/)