Python

텍스트 요약 (transformers 라이브러리 Hugging Face AI Model)

ahnshy 2024. 11. 19. 07:13

transformers 라이브러리와 Hugging Face의 사전 학습된 모델을 활용하여, 텍스트를 요약합니다. 요약 모델로는 BART나 T5와 같은 모델을 사용할 수 있습니다.

[transformers torch 설치]
pip install transformers torch

 

  • pipeline: transformers 라이브러리에서 제공하는 pipeline을 사용하여 요약 모델을 불러옵니다. (facebook/bart-large-cnn 모델을 사용)
  • raw_text: 요약 할 텍스트 입력
  • summarizer: 주어진 뉴스 텍스트를 요약하고, max_length와 min_length로 요약 길이 설정

 

from transformers import pipeline

# 요약 파이프라인 로드
summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

# 뉴스 텍스트 예시
raw_text = """
국제적인 경제 위기가 계속해서 글로벌 시장에 큰 영향을 미치고 있습니다. 특히, 미국과 중국의 무역 전쟁은 여러 산업에 심각한 타격을 주었으며, 일부 국가들은 이미 경기 침체에 접어들었습니다. 전문가들은 향후 몇 년간 경제 성장률이 둔화될 것이라고 예측하고 있으며, 이에 따라 각국 정부는 새로운 경제 정책을 마련하고 있습니다. 또한, 글로벌 공급망 문제와 에너지 가격 상승도 많은 기업들에 부담을 주고 있습니다. 이와 같은 상황에서 국제적인 협력이 더욱 중요한 시점이 되고 있습니다.
"""

# 뉴스 텍스트 요약
summary = summarizer(raw_text, max_length=100, min_length=50, do_sample=False)

# 요약된 결과 출력
print("원본 뉴스:\n", raw_text)
print("\n요약된 뉴스:\n", summary[0]['summary_text'])

 

[실행결과]

원본 텍스트:
 국제적인 경제 위기가 계속해서 글로벌 시장에 큰 영향을 미치고 있습니다. 특히, 미국과 중국의 무역 전쟁은 여러 산업에 심각한 타격을 주었으며, 일부 국가들은 이미 경기 침체에 접어들었습니다. 전문가들은 향후 몇 년간 경제 성장률이 둔화될 것이라고 예측하고 있으며, 이에 따라 각국 정부는 새로운 경제 정책을 마련하고 있습니다. 또한, 글로벌 공급망 문제와 에너지 가격 상승도 많은 기업들에 부담을 주고 있습니다. 이와 같은 상황에서 국제적인 협력이 더욱 중요한 시점이 되고 있습니다.

요약된 텍스트:
 경제 위기와 미국-중국 무역 전쟁은 글로벌 시장에 심각한 영향을 미치고 있으며, 일부 국가는 경기 침체를 겪고 있다. 전문가들은 경제 성장률 둔화를 예고하며 각국 정부는 새로운 경제 정책을 준비하고 있다.