خوارزمية تصويت الأغلبية السريعة والقوية لنموذج انحدار البيانات الضخمة

الملخص

نهج التصويت بالأغلبية هو أحد تقنيات فرق تسد التي لديها القدرة على تحليل البيانات الضخمة وفهمها ومن ثم اتخاذ القرار بشأنها. تعتبر بيانات الانحدار الكبيرة ضخمة ليس فقط من حيث الحجم حيث تميل P وn إلى اللانهاية، ولكن من حيث الكثافة والتعقيد أيضًا. على سبيل المثال، يؤدي جمع البيانات الضخمة من مجموعات سكانية فرعية مختلفة إلى مشكلة عدم التجانس التي تؤدي بالتأكيد إلى وجود القيم المتطرفة. علاوة على ذلك، فإن معالجة مثل هذا الحجم من البيانات تتجاوز قدرة الأدوات التحليلية القياسية. لذلك، تتطلب المعالجة أن تتمتع الخوارزمية المقترحة بخاصيتين رئيسيتين، سريعة ودقيقة. ولسوء الحظ، فإن نهج التصويت بالأغلبية لا يمكن الاعتماد عليه عندما تكون القيم المتطرفة موجودة في البيانات. علاوة على ذلك، فإن لعنة الأبعاد تسبب مشكلة الخطية المتعددة التي تؤدي إلى نتائج مضللة. تقترح هذه الورقة أسلوب تصويت سريع وقوي للأغلبية وهو نسخة جديدة من النسخة الأصلية مع بعض الخطوات. الخطوة الأولى هي تقسيم مصفوفة التصميم عموديًا إلى عدد من الكتل للتغلب على لعنة الأبعاد الفائقة. وينبغي النظر في التصويت على اختيار أفضل مجموعة فرعية من المتغيرات باستخدام طريقة اختيار متغير قوية كإجراء تخفيض الأبعاد ومقاومة لوجود القيم المتطرفة. والخطوة الثانية هي تجميع أفضل المجموعات الفرعية في نموذج انحدار خطي واحد، ثم استخدام خوارزمية تصويت الأغلبية للحصول على أفضل المتغيرات (على سبيل المثال. تم إجراء دراسة محاكاة في هذا البحث لمعرفة أداء التقنية المقترحة مقارنة مع تقنية Big-Laso المعروفة بأنها أسرع طريقة في الأدبيات الإحصائية في الوقت الحالي. تظهر النتيجة تفوق الخوارزمية المقترحة والتي هي أسرع من Big-lasso وأكثر دقة منها.