Veb-skraping (yoki "veb-qirqish") - veb-sahifalardan ma'lumotlarni avtomatlashtirilgan tarzda olish uchun ishlatiladigan texnikadir. Bu, veb-sahifaning HTML kodini o'qish va tahlil qilish orqali amalga oshiriladi, shunda siz qiziqarli ma'lumotlarni olish va uni ma'lumotlar bazasi yoki CSV fayli kabi tarkibiy shaklda saqlash uchun kerakli ma'lumotlarni olishingiz mumkin. Python-da veb-skrapni samarali amalga oshirish uchun ishlatilishi mumkin bo'lgan bir nechta kutubxonalar mavjud, masalan: BeautifulSoup: HTML va XML hujjatlarini tahlil qilish va ma'lumotlarni olish uchun kutubxona. Scrapy: Python-da yuqori darajadagi tarkibni taqdim etadigan Python-da skraplash uchun dastur.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence