디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 113 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 과음으로 응급실에 가장 많이 갔을 것 같은 스타는? 운영자 25/03/03 - -
17332982 요즘같은 불경기에 저녁을 공짜로 먹는방법...jpg [3] 석열사랑갤로그로 이동합니다. 16:41 68 2
17332981 고구려 / 백제신라 어디쪽 혈통같음? [1] 야갤러(211.203) 16:41 45 1
17332980 음중 왜케 오래히냐?? 1위 발표 언제 핞?? ㅇㅇ(106.101) 16:41 14 0
17332976 개좆소 폰보면서 일하다가 경위서 쓴다 ; [12] 김무명갤로그로 이동합니다. 16:41 87 0
17332974 많이먹어도 살안찌는거<<<개복받은거임 [14] 냐냐냐나갤로그로 이동합니다. 16:41 68 1
17332972 속보) 개두창 쥴리한테 채찍맞고 흥분느껴... ㅇㅇ(125.136) 16:41 29 0
17332970 폭싹속았수다 개재밋농 ㄷㄷ [1] ㅇㅇ(211.36) 16:40 36 0
17332968 속보) 개두창 밤마다 딜도로 애널자위 연마해... [1] ㅇㅇ(125.136) 16:40 27 0
17332967 SM은 확실히 급이 다른게 [1] 야갤러(175.206) 16:40 37 0
17332965 장원영 실물 [2] ㅇㅇ(211.235) 16:40 103 0
17332963 키스할때 어디까지 가능? [5] 원영이갤로그로 이동합니다. 16:40 108 0
17332962 야븅이 지듣노..)) 레인보우⋯— A [3] ôㄴô(39.7) 16:39 27 0
17332961 칠대남 이미친새끼들ㅋㅋㅋ ㅇㅇ(125.136) 16:39 26 0
17332960 석열신 <~ 왜 안나오시냐??? 먼일잇나.. [2] ㅇㅇ(110.70) 16:39 31 0
17332958 개두창탄핵ㅋㅋㅋㅋ ㅇㅇ(125.136) 16:39 26 0
17332957 나 지금 지듣노ㅠㅠㅠㅠㅠㅜㅠㅠㅠㅠㅠㅜㅠㅠㅠㅠ [7] 뿌요요갤로그로 이동합니다. 16:39 38 0
17332956 채널a 국힘쪽 아닌가 [1] ㅇㅇ(59.17) 16:38 55 0
17332955 얘 진짜 ㅂㅅ임? [5] 브라질산바질갤로그로 이동합니다. 16:38 124 2
17332954 ,.,.,.오해원 정도면.. 일반인 이었으면 존나 이쁜거임? [3] ㅇㅇ(211.198) 16:38 70 1
17332952 설윤이 음중 안 나오니깐 짤 만들기도 귀찮네 [2] ㅇㅇ(221.155) 16:38 45 1
17332951 아니 솔직히 버스비 안내고 버스탄게 그렇게 잘못된거냐? [1] ㅇㅇ갤로그로 이동합니다. 16:38 28 0
17332949 오늘 음중 라인업 이건데 여돌 몇명 남은거냐 [2] 야갤러(223.62) 16:38 38 0
17332948 검사는 공수처와 민주당의 개다 - 견찰 ㅇㅇ(168.126) 16:37 38 2
17332946 핼스장에서 방구 실컷 꼈다 [2] ôㄴô(39.7) 16:37 80 2
17332945 여친구함 [1] ㅇㅇ(211.235) 16:37 89 0
17332943 낮잠 자야겟다 [1] 정서윤노예갤로그로 이동합니다. 16:36 36 0
17332942 ☆중소기업 현직 갤 창설☆ [1] 야갤러(1.240) 16:36 48 0
17332941 미모고트 근황.jpg [2] ㅇㅇ(221.152) 16:36 122 4
17332940 뉴진스 유일한 부활 시나리오 [1] ㅇㅇ갤로그로 이동합니다. 16:35 81 0
17332939 오해원 실물 [2] ㅇㅇ(211.235) 16:35 182 4
17332937 쿠앤크아이스크림먹고싶다 [9] 냐냐냐나갤로그로 이동합니다. 16:35 48 0
17332936 음중하는데 왜 중계안하노 [2] 야갤러(222.101) 16:35 43 0
17332932 [1] ㅇㅇ(117.111) 16:34 78 0
17332929 스포) 미키17 봉준호의 진보적 정치 메시지 ㅇㅇ갤로그로 이동합니다. 16:33 56 1
17332928 로코베리가 누구임? [2] ㅇㅇ(211.235) 16:33 64 0
17332926 사상 최악의 엽기 광연범죄 ㅇㅇ(211.36) 16:33 47 1
17332925 밑에 왼쪽은 잘생기긴했다 ㅋㅋ 부럽다 [1] 야갤러(223.62) 16:33 39 0
17332924 이제 장카설 시대는 갔다 [1] ㅇㅇ(211.62) 16:33 95 3
17332922 로또 동행복권의 모기업= 제주반도체(중국최대주)! ㅇㅇ(221.164) 16:32 39 1
17332920 엘 점마는 현역도 바르노 ㅋㅋ ㅇㅇ(106.101) 16:31 18 0
17332919 나이들면 이렇게 변하는건 비현실적이지? 야갤러(211.203) 16:31 56 0
17332918 야구갤이 일베충 사식지구나 ㅋㅋ 야갤러(210.119) 16:31 26 1
17332917 저녁 추천부탁 댓 세번째꺼 먹음 [22] 누무현(59.21) 16:31 73 0
17332915 친구랑 싸웠는데 내 잘못인지 봐주셈 [7] 야갤러(223.38) 16:30 50 0
17332914 지금 실시간 화장실 [2] ㅇㅇ(211.235) 16:30 149 1
17332912 인피니트 ㅅㅂ 나 고딩때 나온애들 ㅋㅋ [1] 야갤러(112.157) 16:30 55 0
17332910 얘기를 들어보세요 그러면은..... 비돈갤로그로 이동합니다. 16:30 24 0
17332909 이런애들 몽골 여진 일본 어디얼굴스타일임? [2] 야갤러(211.203) 16:30 58 0
17332908 윤두창 개새끼 풀려나면 검찰개혁 시급. [1] ㅇㅇ(220.79) 16:30 34 0
17332907 인피니틀 ㅋㅋ 야갤러(223.62) 16:29 20 0
뉴스 “국적 박탈”…김영철, 가짜뉴스 분노 “나와 아무 상관 없다” 디시트렌드 18:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2