디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 114 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 과음으로 응급실에 가장 많이 갔을 것 같은 스타는? 운영자 25/03/03 - -
공지 2025 KBO 정규시즌 경기 일정 [61] 딛디티갤로그로 이동합니다. 24.12.20 48201 44
공지 국내야구 갤러리 이용 안내 [777/1] 운영자 22.06.03 829312 276
17334494 윤석열 빠는 놈들 구역질 나옴 ㅇㅇ(223.39) 18:27 6 1
17334493 윤석열 나올때 앞에 환영인파가 많냐? 탄찬인파가 많냐? ㅇㅇ(14.40) 18:27 4 0
17334492 외삼촌이 판사인데 석방 탄핵판결에 영향있다는데 ㅇㅇ(58.141) 18:27 4 0
17334490 글리젠 ㅈ박앗노 헤네시스갤로그로 이동합니다. 18:27 5 0
17334489 기각되면 일어날일들 야갤러(222.112) 18:27 1 0
17334488 중국인에게 투표권을 준 간첩 정당의 실체(악마같음 주의) 야갤러(61.77) 18:27 6 0
17334487 속보) 이재명 대표 자택서 사 ㅇㅇ(119.196) 18:27 20 1
17334486 석방되고 거리 행진하는 윤석열.mp4 ㅍㅍㅍ갤로그로 이동합니다. 18:27 8 0
17334485 1번개추 2번비추 ㅇㅇ(61.84) 18:27 14 1
17334484 토/툐/사@이@트/가/입/알/바 구 합 니 다사@이@트 마다 정@산 야갤러(106.102) 18:27 5 0
17334483 누가 더 유명함 메시 리한나 [1] 디바(59.28) 18:27 11 0
17334482 대검이 윤 탄핵후 영장칠려고 일보후퇴한거임ㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 18:27 19 0
17334481 전한길만 없었어도 결집 안됐을텐데 야갤러(211.246) 18:27 28 0
17334480 기각되면 어떻하냐 진짜 야갤러(222.112) 18:27 8 0
17334479 일거 척결 명단 떴네. 메좆이랑 고양이 뉴스는 없다 ㅋㅋㅌㅋㅋㅌ ㅇㅇ(118.235) 18:27 8 0
17334478 실시간 메좆 반응떴다... 라가이아갤로그로 이동합니다. 18:27 36 5
17334477 탄핵 판결에 지지율 영향 많이 주지않냐? [1] ㅇㅇ(39.7) 18:27 31 0
17334476 섹 석 열 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(119.196) 18:27 13 0
17334475 일거 척결 명단 떴네. 메좆이랑 고양이 뉴스는 없다 ㅋㅋㅌㅋㅋㅌ ㅇㅇ(118.235) 18:26 16 0
17334474 감빵 안에서 짱깨들 청소 할 생각만 했을 듯 ㅇㅇ(118.235) 18:26 5 0
17334473 윤카 개같이 부활ㅋㅋㅋㅋㅋ [2] 빈지갑갤로그로 이동합니다. 18:26 21 0
17334472 토/툐/사@이@트/가/입/알/바 구 합 니 다사@이@트 마다 정@산 야갤러(106.102) 18:26 2 0
17334471 석열이형 임기 채우겠노 야갤러(183.108) 18:26 7 0
17334470 감옥가기전 마지막 휴가잼ㅋㅋㅋㅋㅋ [1] ㅇㅇ(223.39) 18:26 21 0
17334469 탄핵 받아줄테니까 느그 찢재명 감옥 바통터치 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 야갤러(175.117) 18:26 9 0
17334467 후방) 화제의 틱톡녀 라이브중ㄱㄱ 79 야갤러(125.143) 18:26 9 0
17334466 대석열! ㅇㅇ(121.162) 18:26 10 0
17334465 탄핵 해외 도박 배당 존나 떨어지는 중임 ㅇㅇ(222.103) 18:26 40 0
17334464 야갤 좆빨갱이짱깨화교 앰창새끼들 일거에척결. ㅇㅇ(121.132) 18:26 5 0
17334463 정설은 탄핵 인용전 마지막 휴가라는거임 [3] ㅇㅇ(14.36) 18:26 20 2
17334462 당당하게 걸어나오는 대석열…gif [2] 지민트윈스갤로그로 이동합니다. 18:26 105 13
17334461 빨갱이들 "어짜피 탄핵될껀데!" 부들부들 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(223.39) 18:26 17 0
17334460 대석열 탄핵마저 피하면 평생 개같이 지지함 야갤러(175.197) 18:26 42 4
17334459 딱봐도 다음 시나리오는 ㅇㅇ(116.126) 18:25 52 1
17334457 이거 약간 이느낌인데 [1] 라롬갤로그로 이동합니다. 18:25 47 0
17334456 팩트- 탄핵될거면 구속취소도 안됨 [5] ㅇㅇ(116.45) 18:25 211 2
17334455 지지율78% 나오는 대통령을 탄핵한다는건 말이안됨 ㄹㅇ ㅇㅇ(121.145) 18:25 8 0
17334454 탄핵되어도 찢재명은 나가리여 [1] ㅇㅇ(111.171) 18:25 47 5
17334453 전문가들이 예측함. 더큰 추락을앞둔 마지막 휴가 [2] ㅇㅇ(223.39) 18:25 45 0
17334452 오랜만에 노랑통닭 먹을까 MAGISTRA갤로그로 이동합니다. 18:25 15 0
17334451 짱깨랑 좌빨색기들 지랄해봣자 ㅋㅋㅋㅋ 야갤러(125.191) 18:25 11 0
17334450 틀창견들아 너무 좋아하지 마라 나이도 있는데 [1] ㅇㅇ(14.36) 18:25 11 0
17334449 속보> 윤석열 구속취소를 취소한다 야갤러(183.103) 18:25 43 3
17334448 와 이거 뭐임 Wasd갤로그로 이동합니다. 18:25 27 0
17334447 속보) 탄핵안 기각 대통령 복귀 ㅇㅇ(106.102) 18:25 40 0
17334446 치킨시켜라! ㅇㅇ(121.162) 18:25 9 0
17334445 mbc만 드라마 재방틀고 자빠졌네 야갤러(220.82) 18:25 14 0
17334444 메좆은 애미애비손잡고 마포대교올라 개같이 뛰어내릴예정 ㅋㅋㅋ ㅇㅇ(121.132) 18:25 8 0
뉴스 김숙♥구본승, 조심스럽게 만남 중… 최측근 “본승이가 숙이 너무 귀여워해” 디시트렌드 10:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2