داده صنعتی را چه مدت و با چه تفکیکی نگه داریم؟
مدت نگهداری معمولا با هر پیشفرضی که تاریخنگار داده داشته تعیین میشود که وارونه است. پرسشهایی که بعدا خواهید پرسید واقعا چه چیزی میخواهند، و کاهش نرخ نمونه کجا پاسخ را نابود میکند.
تقریبا هر کارخانهای داده فرایندش را به همان مدتی نگه میدارد که تاریخنگار داده هنگام نصب برای نگه داشتن پیکربندی شده بود، یعنی این تصمیم را یک پیشفرض سازنده و یک اندازه دیسک گرفتهاند. ارزش دارد این تصمیم آگاهانه گرفته شود، چون دو حالت شکست در دو جهت مخالف گراناند: نگه داشتن همه چیز با تفکیک کامل تا ابد هزینه دارد و پرسوجو را کند میکند، در حالی که دور ریختن چیز نادرست یعنی پرسشی که دو سال دیگر از شما میپرسند اصلا پاسخی ندارد.
راه مفید ورود، حرکت رو به عقب از پرسشهاست. اینها به طور کلی چهار دستهاند و چیزهای متفاوتی میخواهند.
پرسشهای عملیاتی چند روز اخیر را پوشش میدهند: چرا خط ساعت ۳:۴۰ متوقف شد، فشار پیش از قطع چه میکرد، کدام شیر اول حرکت کرد. اینها به تفکیک کامل نیاز دارند — نرخ نمونه اصلی و بدون هموارسازی — چون تمام نکته ماجرا ترتیب و جزئیات است. همچنین باید سریع باشند، چون کسی ایستاده میپرسد. چند روز تا چند هفته داده خام معمول است و این کوچکترین و گرانترین لایه است.
پرسشهای مهندسی ماهها تا چند سال را پوشش میدهند: آیا این پمپ در حال افت است، آیا بازده خط دو واقعا از زمان تعویض افت کرده، چرخه کاری این ماشین در فصلهای مختلف چه شکلی است. اینها کاهش نرخ نمونه را تحمل میکنند اما نوع نادرست آن نابودشان میکند. میانگینگیری یک سیگنال به یک نقطه در دقیقه دقیقا همان اطلاعاتی را نابود میکند که رد ارتعاش یا جریان حمل میکند؛ نگه داشتن کمینه، بیشینه، میانگین و شمار نمونه در هر بازه بخش بسیار بیشتری از آن را با هزینه اضافی اندک حفظ میکند. اینکه کدام آمارهها را نگه میدارید بیش از بازهای که در آن نگهشان میدارید اهمیت دارد.
پرسشهای انطباق را کس دیگری تعیین میکند و قابل چانهزنی نیستند. داده دارویی، غذایی، تجهیزات پزشکی، انتشار و مرتبط با ایمنی دورههای نگهداریای دارند که در مقررات یا در توافق کیفیت مشتری نوشته شدهاند، و آن دورهها اغلب بلندتر از غریزه هرکسی هستند — سالها پس از عمر بچ و گاهی پس از عمر خود تجهیزات. این لایه الزاماتی هم دارد که بقیه ندارند: سابقه باید در تمام دوره قابل انتساب، غیرقابل تغییر و خوانا بماند، و این بیانیهای درباره قالب و ردپای ممیزی است نه فقط درباره ذخیرهسازی.
پرسشهای مدل تازهترین لایهاند و همان که مردم دستکم میگیرندش. آموزش یا بازآموزی یک مدل به تاریخچه نیاز دارد، با تفکیکی که با آنچه مدل مصرف میکند بخواند و با برچسبهای پیوست. کارخانهای که سه سال نرخ نمونه را تهاجمی کاهش داده و اکنون میخواهد آشکارساز ناهنجاری بسازد، درمییابد پدیدهای را که میخواهد تشخیص دهد میانگینگیری کرده و از بین برده است. اگر کوچکترین احتمال تحلیل روی سیگنالی وجود دارد، تصمیم نگهداری آن سیگنال باید با در نظر گرفتن همین گرفته شود، چون هزینه نگه داشتنش کم است و هزینه نداشتنش یک سال انتظار.
سپس چند نکته عملی که تکرار میشوند.
خام و مشتقشده را جدا ذخیره کنید و هرگز خام را با نسخه اصلاحشده بازنویسی نکنید. اصلاحها باید در کنار اصل و با دلیلی پیوست بنشینند؛ مقداری که بیسروصدا درست شده مقداری است که بعدا هیچکس نمیتواند از آن دفاع کند.
تنظیمات فشردهسازی تاریخنگار داده سزاوار نگاهاند نه پیشفرض. باند مرده و فشردهسازی دروازه نوسانی نقاطی را که درون یک تلورانس میافتند دور میریزند، که کارآمد است و همچنین تصمیمی درباره اینکه چه جزئیاتی دیگر وجود ندارد. تلورانسی که به قدر کافی سخاوتمند تنظیم شود که ذخیرهسازی را نصف کند میتواند دقیقا همان انحرافات کوچکی را صاف کند که یک تشخیص به آنها وابسته است.
زمان همان چیزی است که پرسشهای میانسامانهای را پاسخپذیر میکند و معمولا ضعیفترین بخش است. داده یک پیالسی، یک تاریخنگار، یک سامانه اجرای تولید و یک سامانه آزمایشگاه سرانجام با هم مقایسه خواهند شد، و اگر ساعتهایشان چند ثانیه اختلاف داشته باشند آن مقایسه حدسوگمان است. زمان همگام و منطقه زمانی ذخیرهشده و بدون ابهام در زمان طراحی ارزاناند و افزودنشان به سوابق قدیمی ناممکن.
سرانجام، سیاست نگهداری را به شکل یک جدول بنویسید: گروه سیگنال، نگهداری خام، نگهداری تجمیعی، کدام آمارهها، کجا مینشیند و چرا. یک بعدازظهر طول میکشد، صورتحساب ذخیرهسازی را قابل توضیح میکند، و یعنی پاسخ به پرسش «آیا هنوز آن داده را داریم؟» چیزی است که میتوان نگاهش کرد نه چیزی که باید رفت و فهمید.