هل توفر الشرارة التاريخ والوقت عندما يتم استلام حدث معين في التدفق المنظم؟
ليس بشكل مباشر مصدر البيانات هو المسؤول عن وقت الحدث، وقت الوصول هو عادة الطابع الزمني من مصدر خادم الرسالة الذي تقرأ منه (كافكا، كينيسيس، إلخ) ويمكن إدراج وقت المعالجة عند معالجة تدفق البيانات الواردة باستخدام وظيفة current_timestamp. https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$ هذا ليس بالضبط عندما تلقى سبارك البيانات من الخادم ولكنه قريب وسيتم تجميعه حسب فترة الزناد. لاحظ أن هذه الوظيفة لا يمكن استخدامها عندما تكون في وضع مستمر. https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#supported-queries