딸기스무디

파이썬에서 rss로 xml파일 다운로드가 잘 안될떄 본문

python

파이썬에서 rss로 xml파일 다운로드가 잘 안될떄

strawberry-smoothie 2020. 8. 10. 00:47

wget이나 requests로 url를 입력하면 다음과 같이 자바스크립트가 동작하며 xml를 제공하는 사이트가 가끔씩 있다.

 

<html><script lang=javascript>
document.cookie = '_accessKey2=wqXvjO0o6V9boJhKZp7hdswcAf3OcNWw'
window.location.reload();
</script></html>

이럴때는 헤더정보를 추가해주면 대부분 해결되는것 같다.

 

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750",
            'Content-Type': 'application/json', "Cookie": ""}
response = requests.get(url, headers=headers)
저작자표시

'python' 카테고리의 다른 글

urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='api.telegram.org', port=443): Max retries exceeded with url:  (0) 2020.08.10
'python' Related Articles more
Comments