디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

헌재게시판 여론 탄핵 반대: 1997, 탄핵 찬성: 82앱에서 작성

야갤러(106.102) 2024.12.19 18:59:24
조회 52 추천 0 댓글 0

import requests

from bs4 import BeautifulSoup

import transformers

import torch

from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments

from datasets import Dataset


train_data = {

'text': [

"탄핵반대 ! 생중계 찬성", "탄핵 결사 반대!!!!", "대통령 탄핵반대 재판 생중계 요청",

"탄핵 반대 생중계하라", "생중계", "탄핵 반대 탄핵찬성하는놈들 CIA 신고하자. 미국 못 간다.",

"윤석열대통령 탄핵반대", "간첩때려잡자", "탄핵 반대 내란죄는 국정을 마비시킨 민주당이다",

"존경하는 6인 재판관님 선거조작 선관위수사를 막지 마세요[탄핵기각]생중계촉구", "탄핵무효",

"존경하는 재판관님 탄핵찬성입니다", "탄핵 찬성입니다", "찬성합니다", "탄핵 찬성합니다.",

"내란수/괴 독재자 사형 탄핵!!!!!!!", "토종한국인은 윤정은의 탄핵 찬성"

],

'labels': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1]

}


# Prepare the dataset

train_dataset = Dataset.from_dict(train_data)


# Load pre-trained KoBERT model and tokenizer

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # Check if GPU is available

tokenizer = BertTokenizer.from_pretrained('kykim/bert-kor-base')

model = BertForSequenceClassification.from_pretrained('kykim/bert-kor-base', num_labels=2).to(device) # Move model to GPU


# Tokenize the dataset

def tokenize_function(examples):

return tokenizer(examples['text'], padding='max_length', truncation=True)


train_dataset = train_dataset.map(tokenize_function, batched=True)


# Training arguments

training_args = TrainingArguments(

output_dir='./results',

num_train_epochs=3,

per_device_train_batch_size=8,

evaluation_strategy="no",

logging_dir='./logs',

logging_steps=10,

)


# Trainer setup

trainer = Trainer(

model=model,

args=training_args,

train_dataset=train_dataset,

)


# Fine-tuning the model

trainer.train()


# Base URL for the site


anti_count = 0

pro_count = 0

# Initialize a list to store the last 10 titles

recent_titles = []


# Example function for classification

def classify_title(title):

inputs = tokenizer(title, return_tensors="pt", truncation=True, padding=True, max_length=128).to(device) # Move inputs to GPU

with torch.no_grad():

outputs = model(**inputs)

prediction = torch.argmax(outputs.logits, dim=-1).item()

return "찬성" if prediction == 1 else "반대"


# Loop through the first 1000 pages

for page in range(1, 1001):

if (page % 10) == 0:

print(f"{page}페이지까지 분석 | 탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

url = base_url.format(page)

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')


# Find all rows containing title

rows = soup.select('table tbody tr')


# Extract and count titles

for row in rows:

title = row.select_one('td:nth-child(2)').text.strip()


# Skip the title if it matches any of the last 10 titles

if title in recent_titles:

# print("중복된 title 무시")

continue

# Add the current title to the list of recent titles

recent_titles.append(title)

if len(recent_titles) > 10:

recent_titles.pop(0) # Remove the oldest title if we have more than 10


label = classify_title(title)

if label == "반대":

anti_count += 1

elif label == "찬성":

pro_count += 1


print(f"탄핵 반대: {anti_count}, 탄핵 찬성: {pro_count}")

​실명 인증 든든하다 ㅋㅋㅋㅋ

- dc official App

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
16012251 좆거지 현금트레이드 ㅋㅋㅋㅋㅋ ㅇㅇ(61.79) 12.19 18 0
16012249 태어나서처음받아본친절 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 36 0
16012248 거지 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(121.175) 12.19 18 0
16012247 작은아버지가팔았어ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 30 0
16012246 홍어ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(211.241) 12.19 18 0
16012245 관객수 1069만도르 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 45 0
16012244 충격】윤석열 탄핵시위에 참가한 중국인 [200] 도라엔터.갤로그로 이동합니다. 12.19 13051 749
16012243 댄싱퀸 윤정이 ㅇㅇ(221.166) 12.19 55 1
16012242 자우림 김윤아!!!! 야갤러(175.199) 12.19 56 1
16012241 사람찾으러나왓노 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 28 0
16012240 윤정눈나 야벅지 나죽어 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(119.196) 12.19 43 0
16012239 한국 입양아들 미국에서 노예처럼 삼.. [1] ㅇㅇ(124.51) 12.19 35 0
16012238 실시간 아이유 근황 [8] ㅇㅇ(180.224) 12.19 208 5
16012237 윤정누나 보지♥♥ ㅇㅇ(211.238) 12.19 49 1
16012236 비스티보이즈 터널 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 28 0
16012235 윤정누나 다영누나 의식 야벅지만 노출하네 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(221.152) 12.19 57 0
16012234 언론 패턴 너무 뻔히보이는데 ㅋㅋㅋ ㅇㅇ(210.121) 12.19 93 13
16012233 펨코새끼들 이거뭐냐와 ㅇㅇ(211.235) 12.19 56 3
16012232 레알 씹 ㅋㅋㅋㅋ 딱 한경기만 하고 우승 ㅋㅋㅋ 저게 대회냐 ㅋㅋ ㅇㅇ(121.175) 12.19 14 0
16012231 윤정눈나 벅지 어흐야 ㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(119.196) 12.19 45 0
16012230 서점 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 23 0
16012229 확인안돼요ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 20 0
16012227 보수의 희망.gjf [3] ㅇㅇ(106.101) 12.19 97 2
16012224 윤정누나 야벅지 하앙ㅋㅋ ㅇㅇ(118.45) 12.19 20 0
16012223 윤정누나 야벅지 미치노 ㅇㅇ(122.34) 12.19 18 0
16012222 시위 참가 살인사건 생김 ㅋㅋㅋㅋ ㄱㅊ ㄱㄱ ㅇㅇ갤로그로 이동합니다. 12.19 127 125
16012221 을용타 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ(119.196) 12.19 26 0
16012220 야브라처럼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ Kojimako갤로그로 이동합니다. 12.19 25 0
16012219 은인을찾습니다 ㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 30 0
16012218 누군데 ㅅㅂㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 29 0
16012217 왜 을용타냐 ㅇㅇ(106.101) 12.19 31 0
16012215 시스템상걸려야하는게아니냐고요ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 29 0
16012214 공무원 씹 ㅋㅋㅋㅋ 야갤러(58.141) 12.19 17 0
16012213 짱깨통수ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ Kojimako갤로그로 이동합니다. 12.19 36 0
16012212 누고 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 20 0
16012211 확인못해요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 24 0
16012209 22년전영등포에서 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 28 0
16012208 채찍질ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ Kojimako갤로그로 이동합니다. 12.19 21 0
16012207 개섹스하노 ㅋㅋㅋㅋㅋㅋ ㅇㅇ(119.196) 12.19 34 0
16012206 코시경 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 25 0
16012205 영등포미소천사 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 28 0
16012204 선수들 ㅈㄴ 팰거같노 ㅋㅋㅋㅋㅋㅋ ㅇㅇ(122.34) 12.19 13 0
16012203 실시간 가장 좆된 연예인 1위 야갤러(49.174) 12.19 75 1
16012202 사이코패스노ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ Kojimako갤로그로 이동합니다. 12.19 23 0
16012201 을용타 ㅋㅋ ㅇ_ㅇ(180.83) 12.19 14 0
16012200 을용타 싱글벙글 ㅋㅋㅋㅋㅋ 하아아앙갤로그로 이동합니다. 12.19 13 0
16012199 벌이 무서운 ㅇㅇ갤로그로 이동합니다. 12.19 29 0
16012198 마지막이야기 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ ㅇㅇ갤로그로 이동합니다. 12.19 21 0
16012197 보통은 행정제재인 과태료ㅋㅋㅋㅋㅋㅋㅋ 손발이시립디다갤로그로 이동합니다. 12.19 30 1
16012196 ㅎㅂㅈㅇ)딱풀1자1위 야갤러(115.139) 12.19 58 1
뉴스 안보현-황정음-지성-장나라-박신혜-김남길, '2024 SBS 연기대상' 대상 후보들 디시트렌드 12.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2