Ufuatiliaji wa Pipeline Ulikosa Hitilafu ya 40% katika Hesabu za Hadhira Licha ya Uendeshaji Safi

Kilichobadilika

Kwa mujibu wa ripoti ya VentureBeat, pipeline ya data iliendesha kwa siku 11 bila hitilafu, DAG zikiwa za kijani na upakiaji wa Snowflake ukiwa safi, huku ikitoa hesabu za hadhira zilizokuwa na kosa la 40%. Tatizo lilikuwa la maana: pipeline ilihamisha data kwa mafanikio baada ya maana ya chanzo kubadilika, lakini haikuthibitisha kuwa namba iliyotokana nayo bado ilimaanisha jambo sahihi.

Kwa Nini Hili Ni Muhimu

Pipeline ya kijani si lazima iwe pipeline ya kuaminika. Ikiwa jumla za hadhira ndizo huamua ufikiaji wa kampeni, ugawaji wa bajeti au malengo ya utendaji, kosa la 40% linaweza kugeuza dashibodi nadhifu kuwa usukani wa gharama unaoelekeza upande usio sahihi.

Mabadiliko ya kiutendaji ni kuchukulia fasili za vipimo na upatanisho wa matokeo kama vidhibiti vya uzalishaji, sambamba na ukaguzi wa hali ya kazi. Upakiaji uliofanikiwa unaonyesha mzigo umefika; hauonyeshi kuwa mtu amebadilisha lebo.

Mtazamo wetu (ubashiri wenye msingi): timu zinazotegemea vipimo vya hadhira zitaongeza ukaguzi unaolinganisha fasili za chanzo, jumla huru na matokeo ya Snowflake. Ukaguzi huo usipokuwepo, mabadiliko ya maana yanaweza kuendelea kuingia katika upangaji na upimaji hadi mtu atambue namba zinaonekana za kufurahisha isivyo kawaida au za kukatisha tamaa isivyo kawaida.

Mara ya mwisho hili lilipotokea

Mnamo Septemba 2020, Public Health England ilishindwa kupakia rekodi 15,841 za vipimo chanya vya COVID-19 baada ya faili kuzidi ukubwa wa juu uliokubaliwa na mfumo. Ufanano wa kimuundo unatia wasiwasi: njia ya kiotomatiki ilionekana kufanya kazi huku watumiaji wa baadaye wakipokea data isiyokamilika au isiyo sahihi.

Madhara yalikuwa makubwa zaidi na yalihitaji hatua za haraka wakati huo. Utafiti wa uchunguzi wa baadaye ulibaini kuwa visa vilivyoathirika viliingia katika ufuatiliaji wa waliokutana navyo takriban siku tatu baadaye kwa wastani, vilikuwa na kiwango cha chini cha kukamilisha ufuatiliaji na vilihusishwa na maambukizi ya juu zaidi miongoni mwa watu waliopata maambukizi ya pili wasio wa kaya moja, ingawa haukupata tofauti kubwa katika kulazwa hospitalini au vifo.

Tukio hilo linaonyesha kuwa swali kuu si kama pipeline ilikamilika, bali kama mtu anayefanya uamuzi unaofuata alipokea data kamili yenye maana. Hapa, madhara yanayotarajiwa ni juhudi za masoko zilizogawiwa vibaya au kipimo potofu cha utendaji, si kuchelewa kwa hatua za afya. Kidhibiti chenye manufaa ni kilekile: fuatilia namba hadi kwenye uamuzi unaoongozwa nayo.

Jinsi athari zinavyoweza kuenea

Hatari ya moja kwa moja iko kwa timu zinazopanga kampeni au kutathmini matokeo kwa kutumia hesabu za hadhira zilizoathirika. Ikiwa jumla isiyo sahihi inaongoza ugawaji wa makundi, bajeti au makadirio ya ufikiaji, uwezo wa kampeni unaweza kuelekezwa kwa kundi lisilo sahihi lililopimwa.

Hilo linaweza kuwafikia wateja pia. Pale ambapo hesabu huongoza ulengaji au ugawaji, mawasiliano yanaweza kuwa na uhusiano mdogo au kutofautiana hadi jumla zilizopatanishwa zichukue nafasi ya zile zenye hitilafu. Mnyororo huu hukatika ikiwa hesabu ni za ushauri tu, au ikiwa ukaguzi huru wa chanzo hadi matokeo hugundua tofauti haraka.

Tathmini ya athari

Waendeshaji wa majukwaa ya data sasa wana pengo wazi la kuziba: afya ya utekelezaji, hali ya DAG na mafanikio ya upakiaji kwenye ghala la data vinahitaji ukaguzi wa usahihi katika kiwango cha biashara kando yake. Katika wiki zijazo, zana na timu zinazoweza kupatanisha fasili za chanzo na vipimo vya ghala la data zitakuwa na manufaa zaidi.

Timu za uchanganuzi na masoko zinabeba hatari ya uamuzi iliyo ya haraka zaidi. Jumla iliyopotoka inaweza kufanya kampeni ionekane imepangwa kwa kiwango kidogo, kikubwa kupita kiasi au imefanikiwa kwa sababu isiyo sahihi. Wateja huathirika tu ikiwa jumla hiyo huongoza ulengaji au ugawaji halisi, lakini ndiyo sababu ukaguzi wa baadae unapaswa kuwa karibu na mtiririko wa kazi wa biashara.

Hali zinazowezekana

Inayowezekana zaidi. Ikiwa kosa la 40% litahusishwa na mabadiliko ya fasili ya chanzo au mabadiliko ya ubadilishaji wa data, timu zitaongeza upatanisho wa chanzo hadi matokeo katika wiki zijazo hadi miezi 6–12. Hii ndiyo njia inayowezekana zaidi kwa sababu tukio linafichua sehemu mahsusi isiyoonekana, si tatizo lisiloeleweka la kutegemewa. Angalia ufuatiliaji unaolinganisha vipimo vya biashara na fasili za chanzo dhidi ya matokeo ya ghala la data, ikiwemo tahadhari za kutolingana kwa maana licha ya kazi kufanikiwa.

Matokeo bora. Fasili rasmi za vipimo zinapoweza kuunganishwa na mabadiliko ya pipeline, timu zinaweza kuzifanya fasili hizo kuwa vidhibiti vinavyoweza kutumwa ndani ya miezi 6–12. Hilo lingezuia maana zilizobadilika kabla ya mizunguko ya upangaji kuanza, kuboresha ugawaji wa kampeni na kupunguza utegemezi wa dondoo ambazo hazijathibitishwa. Ishara imara zaidi zingekuwa fasili za vipimo zenye matoleo na jumla za hadhira zilizothibitishwa kabla ya upangaji wa kampeni.

Matokeo mabaya. Ikiwa tukio hili litarekebishwa bila vidhibiti vya usahihi wa matokeo, mabadiliko ya maana ya baadaye yanaweza kupita kwa usafi kwenye dashibodi zilezile za kiutendaji. Katika wiki hadi miezi 12, marekebisho ya mara kwa mara yanaweza kubadilisha matokeo yaliyopangwa au kuripotiwa ya kampeni baada ya maamuzi kufanywa. Ishara ya onyo ni rahisi: tofauti zinaendelea kugunduliwa baada ya upakiaji uliofanikiwa, huku ufuatiliaji ukibaki kwenye afya ya utekelezaji na upakiaji pekee.

Cha kuangalia baadaye

• Ukaguzi wa upatanisho wa hesabu za hadhira kutoka chanzo hadi matokeo unaolinganisha fasili au jumla huru za biashara na matokeo ya Snowflake.
• Marekebisho ya jumla za hadhira zilizoathirika kwa 40% baada ya mabadiliko ya maana kutambuliwa.
• Mabadiliko katika ugawaji wa kampeni, ulengaji au uripoti wa utendaji baada ya hesabu zilizothibitishwa kuchukua nafasi ya matokeo ya awali ya pipeline.