注意下面这些代码:
这个脚本直接打印出网页的HTML内容,而不是解析后的内容。如果你想要解析网页内容(如提取某些特定信息),你可能需要使用如BeautifulSoup之类的库。
这个脚本没有进行错误处理,例如网络错误或请求超时等。在实际应用中,你可能需要添加适当的错误处理机制。
使用 fake_useragent 生成随机用户代理有助于避免某些网站的防爬虫机制,但这并不能保证一定能成功绕过所有的防爬虫机制。某些网站可能会采用更复杂的策略来检测和阻止爬虫。
from urllib.request import urlopen,Request
from fake_useragent import UserAgent
from urllib.parse import quote
search = input("请输入搜索的内容:")
url = f"https://blog.pythonit.cn/index.php/search/{quote(search)}"
ua = UserAgent()
headers = {
'User-Agent': ua.chrome
}
re = Request(url,headers=headers)
reopen = urlopen(re)
print(reopen.read().decode())