داده‌های تاریک

داده‌های تاریک داده‌هایی هستند که از طریق عملیات‌های مختلف شبکه کامپیوتری به دست می‌آیند اما به هیچ وجه برای استخراج بینش یا تصمیم‌گیری استفاده نمی‌شوند. سازمان‌ها اغلب داده‌های تاریک را فقط برای اهداف انطباق داده‌ها ذخیره می‌کنند. توانایی یک سازمان در جمع‌آوری داده‌ها ممکن است از توان تجزیه و تحلیل داده‌ها بیشتر باشد. در برخی موارد ممکن است سازمان حتی از جمع آوری داده‌ها آگاه نباشد. IBM تخمین می‌زند که تقریباً ۹۰ درصد داده‌های تولید شده توسط حسگرها و تبدیل‌های آنالوگ به دیجیتال هرگز مورد استفاده قرار نمی‌گیرند و ۶۰ درصد از این داده ها ارزش واقعی خود را بعد از چند میلی ثانیه از دست می دهند.

در زمینه صنعتی، داده‌های تاریک می‌تواند شامل اطلاعات جمع‌آوری‌شده توسط حسگرها و تله‌ماتیک‌ها باشد.

سازمان‌ها داده‌های تاریک را به دلایل زیادی ذخیره می‌کنند، و تخمین زده می‌شود که بیشتر شرکت‌ها تنها ۱٪ از داده‌های خود را تجزیه و تحلیل می‌کنند. برخی از سازمان‌ها بر این باورند که داده‌های تاریک می‌تواند در آینده برای آنها مفید باشد، زیرا آن‌ها در آینده فناوری تحلیلی و هوش تجاری بهتری را برای پردازش اطلاعات به دست خواهند آورند. از آن‌جایی که ذخیره سازی داده‌ها به نسبت ارزان است، ذخیره داده‌ها آسان است. با این حال، ذخیره سازی و ایمن سازی داده ها معمولاً مستلزم هزینه‌های (یا حتی ریسک) بیشتر از سود بالقوه است.

پروفسور دیوید هند(به انگلیسی:Professor David Hand) از امپریال کالج لندن نیز از این اصطلاح برای اشاره به داده هایی استفاده می کند که گم شده اند: داده های تاریک داده هایی هستند که شما ندارید.

تحلیل و بررسی

بسیاری از داده‌های تاریک ساختاری ندارند، به این معنی که اطلاعات در قالب‌هایی هستند که خواندن، تجزیه و تحلیل و دسته‌بندی آن‌ها ممکن است برای رایانه دشوار باشد. کسب‌وکار داده‌های تاریک خود را اغلب به دلیل مقدار منابعی که برای این کار لازم است و دشواری تجزیه و تحلیل آن داده‌ها، تجزیه و تحلیل نمی‌کند. طبق گزارش Computer Weekly حدود ۶۰ درصد از سازمان‌ها معتقدند که قابلیت گزارش‌دهی هوش تجاری خودشان «ناکافی» است و ۶۵ درصد می‌گویند که «رویکردهای مدیریت محتوا تا حدی سازمان‌دهی نشده» دارند.

ارتباط

داده‌های مفید ممکن است پس از بی‌ربط شدن به داده‌های تاریک تبدیل شوند، زیرا به اندازه کافی سریع پردازش نمی‌شوند. به عنوان مثال، اگر موقعیت جغرافیایی یک مشتری برای یک شرکت شناخته شده باشد، شرکت می‌تواند بر اساس موقعیت مکانی پیشنهاد دهد، اما اگر این داده‌ها فورا پردازش نشود، ممکن است در آینده نامربوط شوند. به گفته IBM، حدود 60 درصد از داده ها بلافاصله ارزش خود را از دست می دهند.

ذخیره سازی

بر اساس گزارش نیویورک تایمز، ۹۰ درصد انرژی مورد استفاده توسط مراکز داده هدر می رود. اگر این داده‌ها ذخیره نمی‌شد در هزینه‌های انرژی صرفه‌جویی بزرگی می‌شد. علاوه بر این، هزینه‌های مرتبط با استفاده ناکافی از اطلاعات و در نتیجه از دست رفتن فرصت‌ها وجود دارد. به گفته سایت Datamation "محیط‌های ذخیره سازی سازمان‌های EMEA شامل ۵۴ درصد داده‌های تاریک، ۳۲ درصد داده های اضافی، منسوخ و پیش پا افتاده و ۱۴ درصد داده های حیاتی تجاری است. تا سال ۲۰۲۰ میلادی، این می‌تواند تا ۸۹۱ میلیارد دلار هزینه های ذخیره سازی و مدیریتی را اضافه کند. در غیر این صورت می توان از آن اجتناب کرد.»

ذخیره سازی مداوم داده‌های تاریک می‌تواند یک سازمان را در معرض خطر قرار دهد، به خصوص اگر این داده‌ها حساس باشند. در صورت رخنه و نقض می تواند عواقب جدی داشته باشد. عواقب می‌توانند مالی، قانونی باشند و به اعتبار یک سازمان آسیب جدی وارد کنند. به عنوان مثال، نقض سوابق خصوصی مشتریان می‌تواند منجر به سرقت اطلاعات حساس شود که می‌تواند منجر به سرقت هویت شود. مثال دیگر می‌تواند نقض اطلاعات حساس خود شرکت، به عنوان مثال مربوط به تحقیق و توسعه باشد. این خطرات را می‌توان با ارزیابی و ممیزی اینکه آیا این داده ها برای سازمان مفید هستند یا خیر، با استفاده از رمزگذاری و امنیت قوی کاهش داد و در نهایت، اگر مشخص شد که داده تاریک هستند حذف می‌شود، باید به گونه ای حذف شود که غیرقابل بازیابی باشد.

آینده داده‌های تاریک

به طور کلی فرض می‌شود که هرچه سیستم‌های محاسباتی پیشرفته‌تری برای تجزیه و تحلیل داده‌ها ساخته شود، ارزش داده‌های تاریک بالاتر بیش‌تر خواهد شد. «داده‌ها و تحلیل‌ها پایه و اساس انقلاب صنعتی مدرن خواهند بود». البته، این موضوع شامل داده‌هایی می‌شود که در حال حاضر «داده‌های تاریک» در نظر گرفته می‌شوند، زیرا منابع کافی برای پردازش آن‌ها وجود ندارد. تمام این داده‌هایی که جمع‌آوری می‌شوند، می‌توانند در آینده برای به ارمغان آوردن حداکثر بهره‌وری و توانایی سازمان‌ها برای برآوردن تقاضای مصرف‌کنندگان مورد استفاده قرار گیرند. پیشرفت‌های فناوری اطلاعات به لطف شرکت‌های جوان و مبتکر این زمینه مانند Datumize، Veritas یا Lucidworks به استفاده مقرون‌به‌صرفه از این داده‌های تاریک کمک می‌کنند. علاوه بر این، بسیاری از سازمان‌ها در حال حاضر ارزش داده‌های تاریک را درک نمی‌کنند، به عنوان مثال در سازمان‌های مراقبت‌های بهداشتی و آموزشی با حجم زیادی از داده‌ها سروکار دارند که می‌تواند، توان قابل‌توجهی برای ارائه خدمات به دانش‌آموزان و بیماران به شیوه‌ای ایجاد کند.