Przetwarzamy teksty wpisów na https://www.reddit.com/
Opis zadań i kod w notatniku Colab
Obecnie serwer zamiast treści wpisów zwraca następujący tekst:
Check back in the next few weeks for updates. - Pushshift team (May 19, 2023)
Problemy były już dostrzegalne podczas laboratorium (18 maja).
Dane do zadania I (zawartość datascience i MachineLearning) są dostępne pod tym adresem: https://dysk.agh.edu.pl/s/dyc2QMs53FK9HK7
Po pobraniu nalezy je rozpakować !unzip i wczytać.
df_ds=pd.read_csv('datascience_2023-05-15 22_16_16.618871.csv')
df_ds.head()
df_ml=pd.read_csv('/content/MachineLearning_2023-05-15 22_16_40.906973.csv')
df_ml.head()
Są to oryginalne (nieprzetworzone ciągi wpisów). Nalezy je wyczyścić tak, jak w funkcji load_to_data_frame() a nastepnie scalić, używając concat
# zabezpieczenie w przypadku pustych danych ! df['title']=df['title'].replace(np.nan, '', regex=True) df['selftext']=df['selftext'].replace(np.nan, '', regex=True) # sklej kolumny df['text']=df['title'] + " " + df['selftext'] # zabezpieczenie w przypadku pustych danych ! df['text']=df['text'].apply(lambda t:clean(t)) df = df.loc[:,['text','subreddit','link_flair_text']] df.head()
df = pd.concat([df_ds,df_ml],ignore_index=True) # df.head() len(df)
Dalej kontynuujemy od TODO 11.1.1.1
Dane są dostępne pod tym adresem. W tym przypadku są już wyczyszczone i scalone. Po pobraniu kontynuujemy od punktu 11.2.2
https://dysk.agh.edu.pl/s/qXz2B54Ctkm7Zgp/download/various_polish.csv.zip