Upload notebooks/create_telugu_dataset.ipynb with huggingface_hub

notebooks/create_telugu_dataset.ipynb

@@ -0,0 +1,272 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Format The dataset"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 21,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "Filtering Content: 100%|██████████| 105218/105218 [00:00<00:00, 125074.19it/s]\n"
+     ]
+    }
+   ],
+   "source": [
+    "from tqdm import tqdm\n",
+    "import json\n",
+    "import pandas as pd\n",
+    "import random\n",
+    "from datasets import Dataset, DatasetDict\n",
+    "\n",
+    "\n",
+    "with open('/data1/max/telugu_corpus/andhrajyothy_data/andhrajyothy_dataset/all_articles_3months.json', 'r') as f:\n",
+    "    data = json.load(f)\n",
+    "\n",
+    "\n",
+    "def analyze_headlines(data):\n",
+    "    stories_with_headlines = []\n",
+    "    count_with_headlines = 0\n",
+    "    count_without_headlines = 0\n",
+    "    \n",
+    "    for story in tqdm(data, desc='Filtering Content'):\n",
+    "        has_headlines = False\n",
+    "        story_content = story['content']['StoryContent']\n",
+    "        \n",
+    "        for content in story_content:\n",
+    "            if 'Headlines' in content and content['Headlines']:\n",
+    "                has_headlines = True\n",
+    "                stories_with_headlines.append({\n",
+    "                    'story_id': int(story['story_id']),\n",
+    "                    'headlines': content['Headlines'][0].replace('\\u200c', '').replace('\\n', '').replace('</p>', '').replace('<p>', '').replace('<b>', '').replace('</b>', ''),\n",
+    "                    'text': content['Body'].replace('\\u200c', '').replace('\\n', '').replace('</p>', '').replace('<p>', '').replace('<b>', '').replace('</b>', ''),\n",
+    "                })\n",
+    "                \n",
+    "            \n",
+    "    return stories_with_headlines\n",
+    "filtered_data=analyze_headlines(data)\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 22,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "\n",
+      "First example:\n",
+      "{'story_id': 2481002, 'headline': 'బుమ్రాకు విశ్రాంతి!', 'article': 'కుల్దీప్–అక్షర్ మధ్య పోటీ27 నుంచి బంగ్లాతో రెండో టెస్టున్యూఢిల్లీ: వరల్డ్ టెస్టు చాంపియన్షిప్ (డబ్ల్యూటీసీ) 2023–25 అంచెలో భాగంగా టీమిండియా ఆడే పది టెస్టుల్లో మొదటిదాన్ని ఘన విజయంతో ముగించింది. బంగ్లాదేశ్తో జరిగిన ఈ మ్యాచ్లో ఏకంగా 280 పరుగుల తేడాతో నెగ్గి డబ్ల్యూటీసీ టేబుల్లో తమ అగ్రస్థానాన్ని మరింత పదిలపర్చుకుంది. ఇక శుక్రవారం నుంచి కాన్పూర్లో చివరిదైన రెండో టెస్టు జరుగుతుంది. వాస్తవానికి ఈ పది టెస్టుల్లో రోహిత్ సేన సగం మ్యాచ్లను గెలిచినా ఫైనల్లో చోటు ఖాయమే. బంగ్లాతో రెండో టెస్టు తర్వాత స్వదేశంలో కివీస్తో మూడు టెస్టులు ఉంటాయి. ఆ తర్వాత ఐదు టెస్టుల సిరీస్ కోసం భారత జట్టు ఆస్ట్రేలియా టూర్కు వెళ్లాల్సి ఉంటుంది. అయితే అక్కడ ఆత్మవిశ్వాసంతో సిరీస్ను ఆరంభించేందుకు, సొంత గడ్డపై మిగిలిన మూడు టెస్టులను గెలిచి ఒత్తిడి తగ్గించుకోవాలనుకుంటోంది.కాన్పూర్ పిచ్ను అనుసరించి ముగ్గురు స్పిన్నర్లతో వెళ్లాలనుకుంటే జట్టుకు ఓ పేసర్ దూరం కావాల్సిందే. ఒకవేళ బుమ్రాకు రెస్ట్ ఇస్తే ఇబ్బంది లేదు. కానీ తను ఆడితే మరో పేసర్ ఆకాశ్ దీప్పై వేటు పడే చాన్సుంది. ఇక మూడో స్పిన్నర్ కోసం తుది జట్టులో కుల్దీప్, అక్షర్ల మధ్య పోటీ ఏర్పడనుంది. ఇంగ్లండ్త�� జరిగిన సిరీస్లో కుల్దీప్ 19 వికెట్లు తీయడంతో కోచ్ గంభీర్ అతడి వైపే మొగ్గు చూపవచ్చు. మరోవైపు జట్టులో ఇప్పటికే అశ్విన్, జడేజా రూపంలో ఇద్దరు స్పిన్ ఆల్రౌండర్లు ఉన్నారు కాబట్టి అక్షర్ బ్యాటింగ్ సామర్థ్యం పెద్దగా అవసరపడదు.ఎర్ర మట్టితో తయారుచేసిన చెన్నై పిచ్పై బంతి బాగా బౌన్స్ కావడంతో పేసర్లు ఎక్కువగా లాభపడ్డారు. నాలుగో రోజు మాత్రమే స్పిన్కు అనుకూలించింది. అయితే కాన్పూర్లో మాత్రం నల్ల మట్టి పిచ్ సిద్ధంగా ఉండనుంది. ఇక్కడ బంతి తక్కువగా బౌన్స్ అవడంతో పాటు స్పిన్కు అనుకూలిస్తూనే ఫ్లాట్గా ఉండనుంది. దీంతో బ్యాటర్లు, స్పిన్నర్లకు ఇద్దరికీ లాభమే. అలాగే దీనికి తగ్గట్టుగా ఇరు జట్లలోనూ మార్పులు చోటు చేసుకోనున్నాయి. '}\n",
+      "Length of the train dataset 83866\n"
+     ]
+    }
+   ],
+   "source": [
+    "\n",
+    "\n",
+    "def create_huggingface_dataset(corpus_data):\n",
+    "    \"\"\"\n",
+    "    Create a HuggingFace Dataset from corpus data with combined headlines and text\n",
+    "    \n",
+    "    Args:\n",
+    "        corpus_data (list): List of dictionaries containing story_id, headlines, and text\n",
+    "        \n",
+    "    Returns:\n",
+    "        datasets.Dataset: HuggingFace Dataset object with combined content\n",
+    "    \"\"\"\n",
+    "    # Create a new list with combined content\n",
+    "    processed_data = []\n",
+    "    for item in corpus_data:\n",
+    "        processed_data.append({\n",
+    "            'story_id': item['story_id'],\n",
+    "            'headline': item['headlines'],\n",
+    "            'article': item['text']\n",
+    "            #'text': f\"{item['headlines']}\\n\\n{item['text']}\"  # Combining headlines and text with double newline\n",
+    "        })\n",
+    "    \n",
+    "    # Convert to DataFrame\n",
+    "    df = pd.DataFrame(processed_data)\n",
+    "    \n",
+    "    # Create HuggingFace Dataset\n",
+    "    dataset = Dataset.from_pandas(df)\n",
+    "    \n",
+    "    return dataset\n",
+    "\n",
+    "\n",
+    "\n",
+    "# Create the dataset\n",
+    "train_dataset = create_huggingface_dataset(filtered_data)\n",
+    "# Print first example to show combined content\n",
+    "print(\"\\nFirst example:\")\n",
+    "print(train_dataset[0])\n",
+    "\n",
+    "print('Length of the train dataset',len(train_dataset))\n",
+    "\n",
+    "\n",
+    "# # Save the dataset (optional)\n",
+    "# dataset.save_to_disk(\"telugu_news_dataset\")"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Append the TeClass dataset as validation set"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "We are only considering HREL content for validation of current dataset"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 23,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\n",
+    "te_df = pd.read_csv('/data1/max/telugu_corpus/TeClass_training_data.csv')\n",
+    "filtered_df = te_df[te_df['label'] == 'HREL']"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 27,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "\n",
+      "First val example:\n",
+      "{'story_id': 920427, 'headline': 'శేఖర్ కమ్ముల తండ్రి శేషయ్య కన్నుమూత', 'article': 'ప్రముఖ దర్శకులు శేఖర్ కమ్ముల ఇంట విషాదం నెలకొంది . ఆయన తండ్రి కమ్ముల శేషయ్య ( 89 ) కన్నుమూశారు . ఆయన గత కొద్దికాలంగా వృద్దాప్య సంబంధింత సమస్యలతో బాధపడుతున్నారు . ప్రస్తుత పరిస్థితుల్లో కొద్దికాలంగా ఇంటి వద్దే చికిత్స అందిస్తున్నారు . ఇటీవల ఆరోగ్యం క్షీణించడంతో స్థానిక ప్రైవేట్ హాస్పిటల్లో చ���ర్పించారు . అక్కడే చికిత్స పొందుతూ శనివారం ఉదయం 6 గంటలకు మరణించారు అని సన్నిహితులు తెలిపారు . శనివారం సాయంత్రం బన్సీలాల్ పేట స్మశాన వాటికలో అంత్యక్రియలు జరుగుతాయని కుటుంబ సభ్యులు తెలిపారు . శేఖర్ కమ్ముల లాక్డౌన్ సమయంలో కరోనా వారియర్స్తో మాట్లాడుతూ ప్లాస్మా దానం చేయాలని అవగాహన కల్పిస్తున్నారు . ఇక సినిమాల విషయానికి వస్తే .. నాగచైతన్య , సాయిపల్లవి హీరోహీరోయిన్లుగా ‘లవ్స్టోరి’ సినిమాను తెరకెక్కిస్తున్నారు శేఖర్ కమ్ముల . ఈ సినిమా షూటింగ్ తుది దశకు చేరుకుంది . సినీ రంగానికి చెందిన పలువురు సోషల్ మీడియా ద్వారా సంతాపం వ్యక్తం చేశారు .'}\n"
+     ]
+    }
+   ],
+   "source": [
+    "\n",
+    "\n",
+    "def create_huggingface_dataset(filtered_df):\n",
+    "    \"\"\"\n",
+    "    Create a HuggingFace Dataset from corpus data with combined headlines and text\n",
+    "    \n",
+    "    Args:\n",
+    "        filtered_df (data frame)): dataframe for valset\n",
+    "        \n",
+    "    Returns:\n",
+    "        datasets.Dataset: HuggingFace Dataset object with combined content\n",
+    "    \"\"\"\n",
+    "    # Create a new list with combined content\n",
+    "    processed_data = []\n",
+    "    for i,item in filtered_df.iterrows():\n",
+    "        processed_data.append({\n",
+    "            'story_id': random.randint(100000,999999),\n",
+    "            'headline': item['headline'],\n",
+    "            'article': item['article']  # Combining headlines and text with double newline\n",
+    "        })\n",
+    "    \n",
+    "    # Convert to DataFrame\n",
+    "    df = pd.DataFrame(processed_data)\n",
+    "    \n",
+    "    # Create HuggingFace Dataset\n",
+    "    dataset = Dataset.from_pandas(df)\n",
+    "    \n",
+    "    return dataset\n",
+    "\n",
+    "\n",
+    "\n",
+    "# Create the dataset\n",
+    "val_dataset = create_huggingface_dataset(filtered_df)\n",
+    "# Print first example to show combined content\n",
+    "print(\"\\nFirst val example:\")\n",
+    "print(val_dataset[0])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 28,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\n",
+    "dataset  = DatasetDict({'train': train_dataset, 'validation': val_dataset})"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Push to the hub for future use"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 32,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "Creating parquet from Arrow format: 100%|██████████| 84/84 [00:00<00:00, 360.53ba/s]\n",
+      "Uploading the dataset shards: 100%|██████████| 1/1 [00:09<00:00,  9.44s/it]\n",
+      "Creating parquet from Arrow format: 100%|██████████| 6/6 [00:00<00:00, 116.88ba/s]\n",
+      "Uploading the dataset shards: 100%|██████████| 1/1 [00:03<00:00,  3.18s/it]\n"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "CommitInfo(commit_url='https://huggingface.co/datasets/saidines12/telugu_news_dataset/commit/724a92685e7e0a2959cee47d6c7f8b8a74573d59', commit_message='Upload dataset', commit_description='', oid='724a92685e7e0a2959cee47d6c7f8b8a74573d59', pr_url=None, pr_revision=None, pr_num=None)"
+      ]
+     },
+     "execution_count": 32,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "import os\n",
+    "\n",
+    "\n",
+    "\n",
+    "dataset.push_to_hub(\"saidines12/telugu_news_dataset\")"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "myenv",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.19"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}