Example

# 🧑‍💻 **BeautifulSoup** HTML 和 XML 数据解析教程 `BeautifulSoup` 是 Python 中非常流行的库，用于从网页中提取数据。它提供了丰富的功能来查找、导航和修改 HTML/XML 文件。 ### 0. 安装 ```bash pip install beautifulsoup4 lxml ``` * `beautifulsoup4`：安装 `BeautifulSoup`。 * `lxml`：安装 `lxml` 解析器，它是 `BeautifulSoup` 的推荐解析器之一。 --- ### 1. 导入并初始化解析器首先，我们导入 `BeautifulSoup` 类，并将 HTML/XML 数据传给它进行解析。 ```python from bs4 import BeautifulSoup html_data = '''Example

Example Page

This is an example page.

Page 1 Page 2 ''' # 使用 'html.parser' 或 'lxml' 或 'xml' 作为解析器 soup = BeautifulSoup(html_data, 'html.parser') ``` --- ### 2. 基本操作 #### 2.1 获取标签内容 ```python title = soup.title.text # 获取标签的文本内容 print(title) # 输出: Example ``` #### 2.2 获取第一个匹配的标签 ```python first_paragraph = soup.find("p") # 获取第一个 <p> 标签 print(first_paragraph) # 输出第一个 <p> 标签的内容: <p class="title"><b>Example Page</b></p> ``` #### 2.3 获取所有匹配的标签 ```python all_links = soup.find_all("a") # 获取所有的 <a> 标签 for link in all_links: print(link) # 输出每个 <a> 标签的内容 ``` --- ### 3. 使用属性查找元素 #### 3.1 按属性查找 ```python link = soup.find("a", href="http://example.com/page1") # 按 href 属性查找第一个匹配的 <a> 标签 print(link) # 输出: <a href="http://example.com/page1" class="link">Page 1</a> ``` #### 3.2 多属性查找 ```python link = soup.find("a", {"class": "link", "href": "http://example.com/page1"}) print(link) # 查找具有多个特定属性的 <a> 标签 ``` --- ### 4. 获取标签属性 ```python for link in all_links: print(link["href"]) # 输出每个 <a> 标签的 href 属性值 ``` --- ### 5. 查找特定类名或 ID 的元素 #### 5.1 按类名查找 ```python content = soup.find("p", class_="content") print(content) # 输出 class 为 "content" 的 <p> 标签 ``` #### 5.2 按 ID 查找 ```python # 假设 HTML 中有 <div id="main">...</div> main_div = soup.find(id="main") print(main_div) ``` --- ### 6. 嵌套查找 ```python body = soup.body content_paragraph = body.find("p", class_="content") print(content_paragraph.text) # 输出嵌套查找的文本内容 ``` --- ### 7. 使用 CSS 选择器 `BeautifulSoup` 支持强大的 CSS 选择器查询方法，允许使用更灵活和精确的选择器。 #### 7.1 选择第一个匹配的元素 ```python # 选择第一个 class="title" 的 <p> 标签 title = soup.select_one("p.title") print(title.text) # 输出: Example Page ``` #### 7.2 选择所有匹配的元素 ```python # 选择所有 class="link" 的 <a> 标签 links = soup.select("a.link") for link in links: print(link["href"]) # 输出每个 <a> 标签的 href 属性 ``` #### 7.3 使用子元素选择器 ```python # 查找 <p> 标签中的 <b> 标签内容 bold_text = soup.select_one("p.title b") print(bold_text.text) # 输出: Example Page ``` --- ### 8. 兄弟和父子节点导航 #### 8.1 获取兄弟标签 ```python # 获取第一个 <a> 标签 first_link = soup.find("a") # 获取下一个兄弟 <a> 标签 next_link = first_link.find_next_sibling("a") print(next_link) # 输出: <a href="http://example.com/page2" class="link">Page 2</a> ``` #### 8.2 获取父标签 ```python first_paragraph = soup.find("p") parent = first_paragraph.parent print(parent) # 输出父标签: <body>...</body> ``` --- ### 9. 获取标签文本内容 * **获取所有文本**：使用 `.get_text()` 或 `.text` * **使用分隔符获取文本**：使用 `.get_text(separator=", ")` ```python all_text = soup.get_text(separator=" | ") print(all_text) # 输出整个文档的文本内容，使用 | 分隔 ``` --- ### 10. 清理 HTML `BeautifulSoup` 还提供了 `prettify()` 方法来格式化输出 HTML，便于查看和调试。 ```python print(soup.prettify()) # 输出格式化的 HTML ``` --- ### 11. 替换内容 `BeautifulSoup` 允许你修改和替换 HTML 标签的内容或属性。 #### 11.1 替换标签内容 ```python first_paragraph.string = "New Content" print(first_paragraph) # 输出: <p class="title">New Content</p> ``` #### 11.2 替换标签属性 ```python link["href"] = "http://new-url.com" print(link) # 输出: <a href="http://new-url.com" class="link">Page 1</a> ``` --- </article></body></html>

欢迎来到皓月归尘个人的小站~