网页爬虫——获取静态网页的超链接-网页源文件

关注“爱当程序员的我”，每天都有关于编程头条发布

今天讲的是使用python爬取一个网页上面的所有超链接，如果电脑里面有python的话可以动手实验一下，提高一下优越感。

爬虫在实际生活中还是十分常见的，比如说国内最大的爬虫——百度。所以说爬虫做的好就可以赚钱了。

今天讲的这个也很简单，爬取网页超链接，但是有前提那就是这是一张静态的网页，动态的网页有点难搞，小编还不是很会，等学会了在分享给大家。

首先我们需要引入我们要用的包，这里我们使用了python里面自带的包

引包

urllib.request是python操作url的包，re是python正则表达式的包

首先我们写一个获取网页源代码的函数

获取网页源代码

然后我们就要写一个提取出网页源代码的超链接的函数

获取网页超链接

接下来我们就可以测试一下了

测试

我们就可以去看看url.txt里面的东西了

url.txt内容

我们发现里面有很多不是url，那个是因为在编写网页的时候使用的是相对路径，所以会出现这种情况。但是这并不影响我们分析头条首页的超链接，基本上都不是本站的连接，说明头条的广告业务有点繁忙，当然这只是小编的猜测，万一头条有很多的域名呢？

结束语：

如果喜欢这篇头条，一定要收藏哟^O^

点击关注，了解更多关于编程的知识^O^

如果有不懂的地方，可以留言，相互探讨，相互学习，共同进步^O^