m.school › Dữ liệu nào dùng được trong phát triển sản phẩm › bài 3
Mỗi câu bấm một phương án. Đúng hay sai và lời giải thích hiện ngay. Không lưu điểm, không ai xem kết quả của bạn.
Câu 1. Theo bài, phép thử để biết một số đo có phải là số đo chỉ để trưng ra hay không nằm ở đâu?
Phép thử không nằm ở bản thân con số mà nằm ở quyết định đứng sau nó. Hỏi hai câu: nếu tháng sau nó cao hơn hẳn thì tôi làm gì khác đi, và nếu nó đứng yên thì tôi làm gì khác đi. Hai câu trả lời giống nhau thì con số ấy không dùng cho quyết định đang chờ. Xem mục 1.
Câu 2. Một xưởng đọc phiếu bảo hành ba năm liền, thấy rất ít ca hỏng ở một bộ phận. Theo bài, cách giải thích thứ hai cũng khớp với đúng bảng số ấy là gì?
Bảng số vẫn đầy và vẫn đúng, nhưng nó chỉ có những khách chịu mang hàng quay lại. Hai cách giải thích ngược nhau cùng khớp một bảng số: bộ phận ấy bền, hoặc hễ hỏng thì khách vứt luôn nên ca hỏng không tới trung tâm. Xem mục 2.
Câu 3. Theo bài, chuyện gì xảy ra khi một số đo thay thế được dùng để chấm điểm người?
Khi một số đo thay thế dùng để chấm điểm người thì người ta tìm cách làm con số ấy đẹp lên, và cách rẻ nhất thường không động gì tới thứ thật: ghi ít lỗi lại, hoặc tách một bản vẽ thành ba. Thứ thật đứng yên, con số thì đổi. Xem mục 3.
Câu 4. Một xưởng thấy thời gian giao hàng bình quân quý này dài ra, trong khi đơn nội thành và đơn đi tỉnh xa đều chạy như quý trước. Theo bài, vì sao con số lại đổi?
Khi tỉ lệ giữa hai nhóm đổi thì con số bình quân đổi theo, dù bên trong từng nhóm không có gì đổi. Đây là chỗ hai kỳ trông như đã khác nhau mà chưa chắc đã khác. Xem mục 4.
Câu 5. Năm 1943, Abraham Wald ước lượng mức dễ tổn thương của từng phần trên máy bay, dựa trên vết đạn đếm trên những chiếc đã bay về. Theo bài, điểm then chốt nằm ở đâu?
Điểm then chốt nằm ở phần dữ liệu không có: những chiếc không bay về thì không có mặt trong bảng số. Vì vậy một vùng ít vết đạn trên các máy bay trở về có thể là vùng mà hễ trúng đạn thì chiếc máy bay không về nữa. Xem phần ví dụ minh hoạ.
Việc cần làm. Lấy một báo cáo định kỳ mà bạn đang nhận hằng tháng hoặc hằng quý, loại có liên quan tới sản phẩm bạn đang làm. In ra hoặc mở ra, rồi đi từng con số một. Với mỗi con số, đánh dấu nó thuộc dạng nào trong bốn dạng của bài này, hoặc ghi là không thuộc dạng nào. Với những con số bị đánh dấu, viết thêm một dòng: con số này đang thiếu điều gì để dùng được. Cuối cùng, chọn ra một con số và viết lại nó theo cách bạn thấy dùng được hơn, ví dụ tách nhóm ra, hay đổi từ cộng dồn sang theo từng kỳ.
Cách tự chấm. Dấu hiệu làm đúng: bạn tìm được ít nhất hai con số rơi vào một trong bốn dạng, và với mỗi con số ấy bạn nói được nó đang thiếu gì chứ không chỉ nói nó không tốt. Dấu hiệu nữa là bạn tìm được ít nhất một chỗ dữ liệu chỉ còn phần đã trụ lại, vì dạng đó khó thấy hơn ba dạng kia. Dấu hiệu còn sai: bạn đánh dấu hết cả báo cáo, nghĩa là đang dùng bốn dạng này như một cái cớ để bỏ bộ số đi; hoặc bạn không đánh dấu được chỗ nào, nghĩa là mới đọc tiêu đề các cột chứ chưa hỏi từng con số đo cái gì.
Lời giải mẫu. Lấy một bối cảnh dựng ra để minh hoạ: báo cáo tháng của một xưởng làm đồ gia dụng điện. Dòng tổng số sản phẩm đã bán từ đầu năm là số cộng dồn, tháng nào cũng cao hơn tháng trước, và nếu nó cao hơn thì xưởng cũng không làm gì khác. Dòng số ca bảo hành trong tháng được đọc như thước đo chất lượng, nhưng nó chỉ đếm những khách mang hàng tới trung tâm, nên nó là một số đo đứng thay và đồng thời chỉ nhìn thấy phần đã trụ lại. Dòng thời gian xử lý bảo hành bình quân gộp cả ca thay linh kiện nhỏ và ca phải gửi hàng về nhà máy, hai loại cách nhau rất xa. Chỗ chữa rẻ nhất là tách dòng cuối thành hai nhóm, vì việc đó chỉ cần đọc lại dữ liệu đang có.
Bản chữ của video, để đọc lại hoặc tra cứu
Hai bài trước lo chuyện tìm đúng loại dữ liệu cho câu hỏi của mình. Bài này lo một chuyện khác và khó thấy hơn: dữ liệu đã nằm trên bàn, các con số đều đúng, không ai làm sai lệch gì, mà cả bảng vẫn không nói lên điều gì về việc bạn đang phải quyết. Bốn dạng dưới đây là bốn kiểu hay gặp. Chúng không phải dữ liệu giả, nên chúng qua được mọi phép soi hình thức, và chúng chỉ lộ ra khi có người hỏi đúng câu. Bài dừng ở mức nhận ra dạng: không dạy cách chữa một bộ số liệu đã lệch, và không dạy phương pháp thống kê.
Dạng thứ nhất là một con số luôn đi lên, nhìn rất dễ chịu, mà không làm ai phải quyết khác đi. Trong nghề người ta gọi nó là số đo chỉ để trưng ra (vanity metric).
Dấu hiệu dễ thấy nhất là con số ấy được cộng dồn từ ngày đầu: tổng số sản phẩm đã bán từ khi mở xưởng, tổng số lượt người mở trang giới thiệu, tổng số hồ sơ khách đã thu về. Một con số cộng dồn thì chỉ đi được một chiều. Nó lên trong tháng tốt, và nó cũng lên trong tháng xấu, nên nó không phân biệt được hai tháng ấy với nhau.
Phép thử không nằm ở bản thân con số, mà nằm ở quyết định đứng sau nó. Hãy hỏi hai câu rồi đặt hai câu trả lời cạnh nhau. Câu thứ nhất: nếu tháng sau con số này cao hơn hẳn thì tôi sẽ làm gì khác đi. Câu thứ hai: nếu tháng sau nó đứng yên thì tôi sẽ làm gì khác đi. Hai câu trả lời giống nhau, hoặc cả hai đều là không làm gì khác, thì con số ấy không dùng được cho quyết định đang chờ. Nó vẫn có thể đúng và vẫn đáng ghi, nhưng nó đang trả lời một câu khác.
Còn một dấu hiệu nữa: con số ấy có chia nhỏ ra được không. Một con số dùng để quyết việc thì thường chia được theo nhóm khách, theo vùng, theo dòng hàng, theo tháng, và chính chỗ chia ra mới chỉ cho bạn thấy nên động vào đâu. Con số không chia nhỏ được thì nó chỉ còn một việc là đứng trên trang chiếu.
Vì sao loại con số này lại nhiều tới vậy? Vì chúng rẻ. Chúng lấy thẳng từ hệ thống sẵn có, không phải đi hỏi ai, và chúng hầu như luôn đẹp. Một người tháng nào cũng phải báo cáo lên trên thì rất khó cưỡng lại một con số vừa dễ lấy vừa luôn tăng.
Chúng tôi không nói những con số ấy phải bỏ đi. Nhiều con số trong nhóm này có ích cho việc theo dõi quy mô. Việc cần làm là tách hai thứ ra: số đo để biết mình đang lớn tới đâu, và số đo để quyết việc của tuần sau. Lẫn hai thứ với nhau thì buổi họp nào cũng vui mà không ai phải quyết gì.
Dạng thứ hai không nằm ở con số, mà nằm ở chỗ ai đã không có mặt trong bảng số.
Thiên lệch do chỉ nhìn thấy phần còn sống sót (survivorship bias) là chuyện một bộ dữ liệu chỉ ghi lại được những người hoặc những vật còn ở trong hệ thống tới lúc được ghi. Những người đã rời đi và những vật đã hỏng hẳn rồi bị vứt thì không để lại dòng nào.
Chuyện này có mặt khắp nơi quanh một sản phẩm. Phiếu bảo hành chỉ có những khách chịu mang hàng quay lại. Đánh giá trên sàn chỉ có những người đã mua và còn chịu ngồi viết. Danh sách khách hiện tại chỉ còn những người chưa bỏ đi. Một lô mẫu đã qua đợt thử khắc nghiệt thì những mẫu còn nguyên chính là những mẫu chịu được, nên đo tiếp trên chúng là đo trên một nhóm đã bị sàng.
Chỗ nguy nằm ở chỗ bảng số vẫn đầy và vẫn đúng. Một xưởng đọc phiếu bảo hành ba năm liền, thấy rất ít ca hỏng ở một bộ phận nào đó, có thể kết luận bộ phận ấy bền. Nhưng còn một cách giải thích nữa cũng khớp với đúng bảng số đó: khi bộ phận ấy hỏng thì món hàng rẻ tới mức khách vứt đi và mua cái khác, nên ca hỏng không bao giờ tới trung tâm bảo hành. Hai cách giải thích ngược nhau, một bảng số, và bảng số không tự chọn giúp bạn.
Câu hỏi để nhận ra dạng này chỉ gồm một vế: trước khi bộ dữ liệu này được ghi, ai đã rơi ra khỏi nó. Hỏi câu ấy trên từng nguồn bạn định dùng thì phần đang thiếu tự hiện ra.
Cách xử lý thì không nằm trong bảng số. Không có phép tính nào bù lại được phần chưa bao giờ được ghi. Đường đi là tìm một nguồn chạm được nhóm đã rời đi: hỏi người bán lẻ về những khách mua một lần rồi thôi, đọc các đánh giá thấp điểm của người đã chuyển sang hàng khác, hoặc gọi lại một ít khách cũ. Nguồn ấy nhỏ và lộn xộn, nhưng nó nói được thứ mà bảng số đang giấu.
Dạng thứ ba bắt đầu từ một việc hoàn toàn hợp lý. Có những thứ bạn muốn biết mà không đo thẳng được: mức hài lòng của khách, chất lượng của một thiết kế, sức khoẻ của một nhóm làm việc. Vậy người ta chọn một thứ đo được và cho nó đứng thay. Thứ đứng thay đó gọi là số đo thay thế (proxy metric).
Số đo thay thế không phải chuyện xấu. Phần lớn số đo trong một công ty đều thuộc loại này, và bỏ chúng đi thì không còn đo được gì. Chuyện hỏng bắt đầu ở chỗ khác: dùng lâu thì người ta quên mất nó chỉ đứng thay, rồi đọc nó như thể nó là thứ thật.
Vài cặp quen thuộc. Số cuộc gọi khiếu nại đứng thay cho mức hài lòng của khách. Số lỗi ghi nhận được ở khâu kiểm đứng thay cho chất lượng của lô hàng. Số bản vẽ đã phát hành đứng thay cho tiến độ của phần thiết kế. Số giờ có mặt đứng thay cho khối lượng công việc đã xong.
Có hai chỗ lệch cần nhớ. Chỗ thứ nhất: thứ đứng thay bao giờ cũng bỏ sót một phần của thứ thật. Người không hài lòng mà im lặng rồi đổi sang hàng khác thì không sinh ra cuộc gọi nào, nên số cuộc gọi giảm đi có thể là tin tốt, mà cũng có thể là tin rất xấu, và một mình nó không nói được là tin nào.
Chỗ thứ hai nặng hơn. Khi một số đo thay thế được dùng để chấm điểm người, thì người ta sẽ tìm cách làm cho con số ấy đẹp lên, và cách rẻ nhất để làm nó đẹp lên thường không động gì tới thứ thật. Lấy số lỗi phát hiện được làm thước đo thì có thể ghi ít lỗi lại. Lấy số bản vẽ phát hành làm thước đo thì có thể tách một bản vẽ thành ba. Thứ thật đứng yên, con số thì đổi.
Cách giữ cho mình tỉnh táo là viết một câu và đặt nó ngay cạnh con số: con số này đang đứng thay cho điều gì, và nó lệch khỏi điều ấy ở chỗ nào. Câu đó mất vài phút để viết. Khi trong phòng không còn ai viết nổi câu ấy cho một số đo đang dùng hằng tháng, thì số đo ấy đã rời xa thứ nó sinh ra để thay.
Dạng thứ tư là số bình quân. Một số bình quân mô tả cả một nhóm bằng một con số. Nó làm được việc đó khi nhóm tương đối đồng đều. Khi nhóm gồm hai phần khác hẳn nhau, con số bình quân rơi vào khoảng giữa và không mô tả đúng phần nào.
Lấy một ví dụ dựng ra cho dễ thấy. Một xưởng tính thời gian giao hàng bình quân trên tất cả đơn, trong khi đơn trong nội thành giao xong trong ngày còn đơn đi tỉnh xa mất nhiều ngày. Con số bình quân nằm lơ lửng giữa hai nhóm. Không khách nào nhận hàng đúng vào khoảng thời gian ấy, và nhìn con số thì không thấy nhóm nào đang có chuyện.
Chuyện còn đi xa thêm một bước. Khi tỉ lệ giữa hai nhóm đổi, con số bình quân đổi theo, dù bên trong từng nhóm không có gì đổi cả. Quý này xưởng nhận nhiều đơn đi tỉnh hơn thì thời gian giao hàng bình quân dài ra, và báo cáo được đọc thành giao hàng đang chậm đi. Thật ra cả hai nhóm vẫn chạy y như quý trước, chỉ là tỉ lệ giữa chúng đã khác. Đây là chỗ hai kỳ trông như đã khác nhau mà chưa chắc đã khác.
Vậy trước khi đọc một số bình quân, hãy hỏi nó đang gộp những nhóm nào vào với nhau. Rồi hỏi tiếp: tách ra theo nhóm thì mỗi nhóm có con số riêng của nó không, và hai con số riêng ấy có cách xa nhau không. Thứ đáng xem không phải con số đứng giữa, mà là hình dạng của cả đám số: nó tụm quanh một chỗ, hay nó tách thành hai cụm.
Có một cách làm nhẹ mà đủ dùng ở mức này. Thay vì chỉ đưa con số bình quân, hãy đưa kèm giá trị nhỏ nhất, giá trị lớn nhất, và một vài con số nằm giữa. Người đọc nhìn là thấy đám số đang tụm lại hay đang tãi ra. Việc này không cần công cụ gì, và nó bỏ đi phần lớn chỗ hiểu nhầm mà một con số bình quân đứng một mình gây ra.
| Dạng | Nó hiện ra thế nào trong báo cáo | Vì sao nó không giúp quyết định | Câu hỏi để nhận ra nó |
|---|---|---|---|
| Số đo chỉ để trưng ra | một con số cộng dồn, tháng nào cũng cao hơn tháng trước, không chia nhỏ được | nó lên trong cả tháng tốt lẫn tháng xấu, nên nó không phân biệt được hai tháng ấy | nếu con số này tăng mạnh, và nếu nó đứng yên, tôi có làm gì khác đi không |
| Chỉ còn phần đã trụ lại | một bảng đầy đủ, dựng từ hồ sơ của những người hoặc những vật còn ở lại trong hệ thống | phần đã rời đi không để lại dòng nào, mà đó thường là phần đáng xem | trước khi bảng này được ghi, ai đã rơi ra khỏi nó |
| Số đo đứng thay cho thứ khác | một con số đo được, đứng thay cho thứ muốn biết mà không đo thẳng được | nó bỏ sót một phần của thứ thật, và nó làm đẹp lên được mà thứ thật không đổi | con số này đang đứng thay cho điều gì, và lệch khỏi điều ấy ở chỗ nào |
| Số bình quân gộp hai nhóm khác nhau | một con số mô tả cả nhóm, thường đi một mình, không kèm khoảng rộng hẹp | nó rơi vào giữa hai nhóm nên không mô tả đúng nhóm nào, và nó đổi khi tỉ lệ hai nhóm đổi | con số này gộp những nhóm nào, tách ra thì mỗi nhóm bao nhiêu |
Chụp lại bảng này. Cột cuối là cột mang đi dùng được ngay: bốn câu hỏi ấy hỏi được ngay trong buổi họp, trên chính báo cáo đang chiếu trên màn hình.
Chọn số đo theo mức dễ đo, chứ không theo quyết định đang chờ. Nhóm cần một bộ số để báo cáo, nên lấy những gì hệ thống sẵn có xuất ra được. Người ta làm vậy vì số đo dễ lấy thì lấy được ngay trong buổi chiều, còn số đo đúng thì phải đi hỏi ba phòng và chờ vài tuần. Hậu quả rơi vào người ra quyết định: họ nhận một bộ số đầy đủ, đúng, và không trả lời câu hỏi của họ, nên họ quyết theo cảm nhận rồi dùng bộ số ấy để đỡ lưng cho quyết định đã lỡ đưa ra. Cách tránh là bắt đầu từ quyết định chứ không từ hệ thống: viết ra quyết định đang chờ, rồi mới hỏi số đo nào đổi được quyết định ấy.
Đọc dữ liệu của những người còn quay lại rồi kết luận cho cả những người đã bỏ đi. Một xưởng đọc phiếu bảo hành và đánh giá của khách cũ, thấy phần lớn đều ổn, rồi yên tâm rằng sản phẩm đang được đón nhận. Người ta làm vậy vì đó là dữ liệu đang có trong tay, còn nhóm đã bỏ đi thì theo định nghĩa là nhóm không còn liên lạc được. Hậu quả rơi vào bản sản phẩm kế tiếp: nó được thiết kế cho đúng những người vốn đã hài lòng, và tiếp tục mất những người đã lặng lẽ đi. Cách tránh là mỗi lần đọc một nguồn hậu mãi thì viết thêm một dòng nói rõ nguồn này bỏ sót ai, và tìm ít nhất một nguồn chạm được nhóm bị bỏ sót.
Khen một con số vì nó tăng, mà không hỏi nó tăng thì mình làm gì khác đi. Trong buổi họp, một biểu đồ đi lên thường được nhận bằng một cái gật đầu rồi chuyển trang. Người ta làm vậy vì hỏi lại một con số đang đẹp trông như bắt bẻ người trình bày. Hậu quả rơi vào cả nhóm: những con số không ai hỏi lại sẽ sống rất lâu, và sau vài quý thì cả bộ báo cáo chỉ còn gồm những con số dễ chịu. Cách tránh là đặt một câu hỏi cố định cho mọi con số trong báo cáo định kỳ, hỏi cả khi nó đẹp: con số này đổi thì tuần sau chúng ta làm gì khác đi.
Ví dụ dưới đây là một công trình có thật, bạn tra lại được tên tài liệu.
Năm 1943, nhà thống kê Abraham Wald làm việc trong nhóm nghiên cứu thống kê của trường đại học Columbia và viết một loạt bản ghi nhớ về cách ước lượng mức dễ tổn thương của từng phần trên một chiếc máy bay. Dữ liệu ông có là số vết đạn đếm trên những chiếc đã bay về.
Điểm then chốt của cách làm nằm ở phần dữ liệu không có: những chiếc không bay về thì không có mặt trong bảng số. Vì vậy một vùng ít vết đạn trên các máy bay trở về chưa chắc là vùng ít bị bắn trúng. Nó có thể là vùng mà hễ trúng đạn thì chiếc máy bay không về nữa.
Loạt bản ghi nhớ ấy không được công bố ra ngoài khi đó. Năm 1980, một trung tâm phân tích của hải quân Hoa Kỳ in lại chúng thành tài liệu công khai.
Xin nói thêm một điều: bản kể ngắn gọn đang lan truyền rộng về ca này, kèm hình chiếc máy bay rắc đầy chấm, là thứ đời sau thêm vào.
Điều rút ra: chỗ bảng số im lặng có thể là chỗ đáng đọc hơn cả phần nó nói.
Của MES LAB
«Phát triển sản phẩm hướng thị trường», TS. Trần Anh Tuấn, chương 20 «Một mẫu tốt, chưa phải nghìn mẫu tin được» — vì sao một con số đẹp đo trên mô hình máy tính hay trên một mẫu đơn lẻ không đứng thay được cho cả lô hàng làm bằng máy thật trong điều kiện thật.
Bên ngoài
Abraham Wald, «A Method of Estimating Plane Vulnerability Based on Damage of Survivors», loạt bản ghi nhớ viết năm 1943 tại Statistical Research Group, Columbia University, do Center for Naval Analyses in lại năm 1980 — nguồn của phần ví dụ; trang giới thiệu tài liệu này trên trang của Center for Naval Analyses cho biết bản gốc chưa từng được công bố ra ngoài.
Thấy bài này có ích cho ai, gửi cho người đó.