– We propose a supervised linear dimensionality reduction algorithm.
– The algorithm reduces the dimensionality of data to K−1 for the K-class problem.
– The linearly reduced data is well-suited for Bayesian classification.
– Experiments on UCI datasets are performed for the proposed and existing algorithms.
– The applicability of the algorithm to flow meter diagnostics is also demonstrated.

Supervised linear dimensionality reduction (LDR) performed prior to classification often improves the accuracy of classification by reducing overfitting and removing multicollinearity. If a Bayes classifier is to be used, then reduction to a dimensionality of K−1 is necessary and sufficient to preserve the classification information in the original feature space for the K-class problem. However, most of the existing algorithms provide no optimal dimensionality to which to reduce the data, thus classification information can be lost in the reduced space if K−1 dimensions are used. In this paper, we present a novel LDR technique to reduce the dimensionality of the original data to K−1, such that it is well-primed for Bayesian classification. This is done by sequentially constructing linear classifiers that minimise the Bayes error via a gradient descent procedure, under an assumption of normality.

We experimentally validate the proposed algorithm on 10 UCI datasets. Our algorithm is shown to be superior in terms of the classification accuracy when compared to existing algorithms including LDR based on Fisher’s criterion and the Chernoff criterion. The applicability of our algorithm is then demonstrated by employing it in diagnosing the health states of 2 ultrasonic flow meters. As with the UCI datasets, the proposed algorithm is found to have superior performance to the existing algorithms, achieving classification accuracies of 99.4% and 97.5% on the two flow meters. Such high classification accuracies on the flow meters promise significant cost benefits in oil and gas operations.

نمونه ترجمه مقاله:

1.مقدمه

کاهش خطی ابعاد یک مجموعه داده یک گام پیش پردازشی مهم در یادگیری ماشین به بعضی دلایل است. به یک دلیل، کاهش خطی ابعاد باعث تصویرسازی آسان داده در زمانی می‌شود که دو یا سه بعد داده کاهش یافته باشد. به دلیل دیگر، انجام LDR قبل از یادگیری می‌تواند پیچیدگی مدل را کم کرده و همچنین مشکلات مقیاس کم نمونه را در الگوریتم‌هایی مثل تفکیک کننده خطی فیشر نیز حل کند که باعث یکی شدن ماتریس‌های پراکنده می‌گردد. مهم‌تر این است که LDR معمولا یادگیری را در ابعاد کم که داده در آن کاهش یافته است را بهبود بخشیده است. معمولا علت، این حقیقت است که نتایج LDR در استخراج موثر ویژگی ازیک مجموعه داده کاربرد دارند و در نتیجه بیش‌پردازشی کاهش می‌یابد. در الگوریتم‌هایی مثل Kنزدیکترین همسایه (KNN)، بهبود عملکرد بدست آمده از LDR نیز به علت این است که LDR اثرات بد ابعاد زیاد را کاهش می‌دهد.

LDR به چند مشکل مثل تشخیص پزشکی و تشخیص صورت و اشیاء و پیش‌بینی کلاهبرداری کارت اعتباری اعمال می‌شود و ابعاد بسیار بالای فضاهای ویژگی را کاهش می‌دهد. در حقیقت، برنامه‌های دیگری هستند که کاهش ابعاد در آنها برای بهبود یادگیری اعمال می‌شود. یک چنین مرحله‌ای برای تشخیص جریان اندازه‌گیری است که در بخش 4 توضیح داده شده است.

یکی از مهم‌ترین و پرطرفدارترین تکنیک‌های LDR، تحلیل عنصر اصلی (PCA) است که با نشان دادن داده اصلی در یک زیرفضا کار می‌کند و در آن، واریانس داده در هر تخمین بیشینه می‌شود. با این حال، وقتی دسته‌بندی آماری بعد از کاهش ابعاد مطلوب باشد، PCA ممکن است اطلاعات تشریح کلاس[1] را در داده از دست بدهد و مسیرهای واریانس بیشینه لزوما در تضاد و تداخل با مسیرهای تفکیکی کلاس نیستند.

برای بیشینه کردن اطلاعات تشریح کننده کلاس در کنار کاهش خطی ابعاد، LDR به دنبال این است که دسته‌بندی از برچسب‌های کلاس برای آگاهی از انتخاب ماتریس تبدیل M استفاده کند. در این مورد، تابع بهینه هدف به دنبال کمینه کردن خطای بایز در فضای خطی کاهش یافته است. با این حال، به دست آوردن عبارت تحلیلی برای خطای بایز برای توزیع احتمال گسسته سخت است و تخمین‌های مختلفی زده می‌شود که باعث ایجاد تکنیک‌های کاهش ابعاد نظارت شده می‌شود.

[1] class-discriminatory