در آمار و یادگیری ماشین اصطلاحی به نام نفرین ابعاد (Curse of Dimensionality) وجود دارد که نخستین بار توسط ریچارد بلمن (Richard Bellman) در دهه 1960 مطرح شده است. این موضوع بیان میکند با افزایش ابعاد دادهها مشکلات بسیاری به صورت تصاعدی به وجود میآید. هرچه تعداد متغیرها یا ابعاد بیشتر میشود، فضای دادهها بهصورت نمایی بزرگتر میشود؛ بهطوری که دادهها پراکنده، بیمعنا و غیرقابل تعمیم میشوند. خیلی سادهتر بگویم در ابعاد کم دادهها الگو دارند وقتی ابعاد مختلف اضاف میشود دادهها از هم دور میشوند و تشخیص الگو بین آنها کمی سخت میشود چرا که فاصله بین آنها بسیار بیشتر به نظر میرسد. در واقع با افزایش ابعاد، فضای تحلیل آنقدر بزرگ و پراکنده میشود که دادهها بهجای روشنکردن الگو، آن را پنهان میکنند. مدلها دقیقتر نمیشوند؛ بلکه پیچیدهتر و گمراهکنندهتر به نظر میرسند.
من این نفرین را بیشتر بیرون از نمودارها و الگوریتمها تجربه کردهام. دقیقاً جایی که یک تصمیم ساده قربانی دیدن بیش از حد من شد. خیلی جاها قرار بود فقط یک پاسخ ساده بدهم، اما ذهنم مثل یک مدل با ابعاد بالا شروع به جمعآوری ابعاد مختلف و دادههای زیاد کرد و تصمیمگیری را متوقف کرد. گاهی ذهن آنقدر بُعد اضافه میکند که حقیقت در لابلای آن گم میشود و ما در شلوغی رها میکند. خیلی اوقات مسئله پیچیده نیست، ما هستیم که مسئله را پیچیده میکنیم.
یادم هست روزی در برخورد با یک دانشجو