本文共 653 字，大约阅读时间需要 2 分钟。

def getList(book_M):    "爬取章节网址，book_L=str所有书的地址，code=list一本书所有章节的地址列表，title_L=list一本书所有章节的标题列表"    hd = {
   "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/21"}    url = book_M    page = requests.get(url,headers=hd)    page.encoding = page.apparent_encoding    soup = BeautifulSoup(page.text, 'html.parser')    dIv = soup.find('ul', attrs={
   'class':"mulu_list"})    a = dIv.find_all('a')    code = []    title_L = []    for i in a:        src = i['href']        code.append(src.strip('.'))        title_L.append(i.text)    return code,title_L

转载地址：http://sbuhf.baihongyu.com/