Business Software UX & NPS Benchmarks (2022) – MeasuringU

Παρά την προσοχή που δίνουν οι εφαρμογές, οι ιστότοποι και το λογισμικό για κινητά σε επίπεδο καταναλωτή, μεγάλο μέρος του κόσμου εξαρτάται από το επιχειρηματικό λογισμικό. Το επιχειρηματικό λογισμικό υποστηρίζει βασικές λειτουργίες για οργανισμούς, όπως διαχείριση παραγωγικότητας, επικοινωνία, λογιστική και πωλήσεις.

Αρκετά προϊόντα έχουν επίσης αρκετά διασταύρωση μεταξύ επιχειρηματικής και καταναλωτικής χρήσης.

Μαζί με τα χαρακτηριστικά και τις δυνατότητές τους, η εμπειρία χρήστη του λογισμικού είναι καθοριστικός παράγοντας για το πόσο πιθανό είναι οι χρήστες να υιοθετήσουν τη νέα τεχνολογία και να προτείνουν το προϊόν.

Η συγκριτική αξιολόγηση είναι ένα ουσιαστικό βήμα σε ένα σχέδιο μέτρησης UX, το οποίο βοηθά στη συστηματική βελτίωση της εμπειρίας χρήστη ενός προϊόντος. Διαπιστώσαμε ότι η χρηστικότητα αντιπροσωπεύει μεταξύ 30% και 60% της διακύμανσης των Καθαρών Βαθμολογιών Υποστηρικτών. Μια θετική εμπειρία οδηγεί τους πελάτες να προτείνουν ένα προϊόν. Μια αρνητική εμπειρία, αναμενόμενα, αναγκάζει τους πελάτες να αποθαρρύνουν ενεργά τους άλλους από το να αγοράσουν ένα προϊόν.

Από τον Απρίλιο έως τον Ιούλιο του 2022, συλλέξαμε δεδομένα από 732 συμμετέχοντες για να μάθουμε για τη στάση τους απέναντι στη λειτουργικότητα και τη χρηστικότητα του κοινού λογισμικού που σχετίζεται με τις επιχειρήσεις. Η μέτρηση της στάσης των χρηστών απέναντι στην εμπειρία είναι ένα σημαντικό βήμα για τη συγκριτική αξιολόγηση και τη βελτίωση ενός προϊόντος.

Αυτή η ανάλυση είναι μια ενημέρωση της έρευνας που πραγματοποιήσαμε σε ένα παρόμοιο σύνολο προϊόντων το 2017 και το 2020 χρησιμοποιώντας παρόμοια μεθοδολογία. Αυξήσαμε τον αριθμό των προϊόντων με συγκριτική αξιολόγηση και, όπως κάναμε το 2020, αναφέραμε ξεχωριστά λογισμικό που εστιάζει στις επιχειρήσεις (αυτό το άρθρο) και λογισμικό που εστιάζει στον καταναλωτή (σε επόμενο άρθρο).

Τα 21 επιχειρηματικά προϊόντα περιλαμβάνουν ένα συνδυασμό λογισμικού παραγωγικότητας και επικοινωνίας (τόσο στο διαδίκτυο όσο και στην επιφάνεια εργασίας):

1. AutoCAD
2. Μαυροπίνακας
3. Κουτί
4. Καμβάς
5. GitHub
6. Πηγαίνω στην συνάντηση
7. QuickBooks
8. MailChimp
9. Μαντείο
10. Salesforce
11. Shopify
12. Χαλαρότητα
13. Τετράγωνο χώρο
14. SurveyMonkey
15. Ζώσα σκηνική εικών
16. VMware
17. WebEx
18. WordPress
19. Zendesk
20. ZipRecruiter
21. Ανίπταμαι διαγωνίως

Οι συμμετέχοντες προέρχονταν από τις Ηνωμένες Πολιτείες. Λίγο περισσότεροι από τους μισούς συμμετέχοντες (55%) ήταν άντρες και έτειναν να είναι νεότεροι, με 56% κάτω των 35. Ζητήθηκε από τους συμμετέχοντες να αναλογιστούν τις πιο πρόσφατες εμπειρίες τους με το λογισμικό και να απαντήσουν σε ορισμένα στοιχεία, συμπεριλαμβανομένης της κλίμακας ευχρηστίας συστήματος (SUS), το UX-Lite™, η τυπική ερώτηση πιθανότητας για σύσταση (LTR) που χρησιμοποιείται για τον υπολογισμό της Καθαρής Βαθμολογίας Προωθητή (NPS) και το στοιχείο Προσαρμογής στην αγορά προϊόντος (PMF). Οι πλήρεις λεπτομέρειες είναι διαθέσιμες στην έκθεση. Εδώ είναι μερικά από τα κυριότερα σημεία.

Μεθοδολογική σημείωση: Ορισμένα προϊόντα στην ανάλυσή μας περιέχουν διαφορετικές λειτουργίες και χρήστες, ιδίως Oracle και Salesforce. Η ανάλυσή μας ρώτησε τους συμμετέχοντες μόνο για τη συνολική εμπειρία τους με κάθε προϊόν και συμπεριέλαβε έναν συνδυασμό χρηστών από διάφορες λειτουργικές περιοχές. Είναι πιθανό ότι πολλές λειτουργικές περιοχές θα έχουν ουσιαστικά διαφορετικές βαθμολογίες (π.χ. πωλήσεις έναντι HR).

Πιστώσεις/Καθαρές Βαθμολογίες Προωθητή

Η πιο δημοφιλής μέθοδος για τη μέτρηση της αφοσίωσης είναι η Net Promoter Score (NPS). Υπολογίζεται χρησιμοποιώντας μια ερώτηση πιθανότητας σύστασης έντεκα σημείων (0 έως 10), με το NPS να υπολογίζεται αφαιρώντας το ποσοστό των επικριτών (αυτοί που επιλέγουν 0–6) από το ποσοστό των υποστηρικτών (αυτοί που επιλέγουν το 9 και το 10).

Στα 21 προϊόντα, ο μέσος καθαρός δείκτης προώθησης ήταν −12%, κυμαινόμενος από −58% έως 23%. Αυτός ο μέσος όρος είναι εύλογα συνεπής με τους προηγούμενους μέσους όρους του επιχειρηματικού NPS από το 2017 (−11%) και το 2020 (−3%).

Έχουμε συλλέξει δεδομένα από πέντε προϊόντα επιχειρηματικού λογισμικού για πολλά χρόνια (QuickBooks και AutoCAD από το 2011, Salesforce, GoToMeeting και WebEx από το 2014). Το NPS για αυτά τα προϊόντα γενικά μειώθηκε. Εξαίρεση αποτελεί το QuickBooks, το οποίο είναι επίσης το μόνο προϊόν του οποίου το NPS είναι θετικό από το 2011.

Η μεγαλύτερη πτώση που παρατηρήσαμε ήταν για το Salesforce. Σημείωσε NPS 0%, από 25% το 2020. Οι ερωτηθέντες ανέφεραν ότι τα σημαντικότερα ζητήματα με το Salesforce ήταν η περίπλοκη διεπαφή χρήστη (19% επί λέξει σχολίων), η μη ικανοποιητική τιμολόγηση (13%) και η μη ελκυστική (9%) .

Το σχήμα 1 δείχνει τα ιστορικά προφίλ NPS για QuickBooks και Salesforce.

Βαθμολογίες κλίμακας ευχρηστίας συστήματος (SUS).

Χρησιμοποιήσαμε τη δημοφιλή Κλίμακα Ευχρηστίας Συστήματος (SUS) για να υπολογίσουμε την αντιληπτή ευκολία χρήσης των 21 προϊόντων. Το SUS είναι ένα ερωτηματολόγιο δέκα στοιχείων με πιθανές βαθμολογίες που κυμαίνονται από 0 έως 100. Η μέση βαθμολογία SUS από περισσότερα από 500 προϊόντα (συμπεριλαμβανομένων ιστοτόπων και επιχειρηματικού λογισμικού) είναι 68. Η μέση βαθμολογία SUS από αυτήν την ομάδα ήταν 70, με χαμηλή βαθμολογία 59 και υψηλή βαθμολογία 77.

Οι βαθμολογίες Raw SUS μετατράπηκαν σε εκατοστιαίες βαθμολογίες, οι οποίες μετέφρασαν τη μέση ακατέργαστη βαθμολογία σε 56%, πράγμα που σημαίνει ότι αυτή η ομάδα προϊόντων σκοράρει λίγο πάνω από τον ιστορικό μέσο όρο στην αντιληπτή χρηστικότητα.

Το προϊόν με τη χαμηλότερη βαθμολογία SUS σε αυτό το σύνολο δεδομένων ήταν το εκπαιδευτικό λογισμικό Blackboard, με βαθμολογία SUS 59 (στο 27^ου εκατοστημόριο). Τα δύο πιο κοινά παράπονα σχετικά με τον Μαυροπίνακα ήταν η κακή πλοήγησή του (13% των κατά λέξη σχολίων) και η απότομη καμπύλη εκμάθησής του (10%).

Οι βαθμολογίες SUS για τα πέντε προϊόντα των προηγούμενων ετών ήταν εύλογα σταθερές, με δύο προϊόντα να μειώνονται δύο βαθμούς από το 2020 έως το 2022 και τρία να βελτιώνονται από δύο σε τρεις βαθμούς.

Χρησιμότητα και Ευκολία

Στην έκθεση, παρουσιάζουμε ευρήματα για το UX-Lite (με βάση το UMUX-Lite που αναφέρθηκε σε προηγούμενες μελέτες), καθώς έχει γίνει σημαντικό σημείο αναφοράς για πολλούς οργανισμούς ως μέρος της χρήσης μιας ενιαίας (συνοπτικής) βαθμολογίας για την ποσοτικοποίηση της αποδοχής και της ικανοποίησης του λογισμικού. Βασίζεται σε προηγούμενη εργασία που ακούγεται πίσω στο Μοντέλο αποδοχής τεχνολογίας (TAM) αλλά περιλαμβάνει μόνο ένα στοιχείο το καθένα για ευκολία (πόσο εύκολο είναι στη χρήση του λογισμικού) και χρησιμότητα (πόσο καλά καλύπτουν οι λειτουργίες τις ανάγκες των χρηστών). Συνολικά, παρέχει ένα μέτρο αποδοχής (ένα mini-TAM) ή, ακόμη ευρύτερα, ικανοποίηση ή ποιότητα του προϊόντος.

Το σχήμα 2 δείχνει ένα διάγραμμα διασποράς των δύο στοιχείων των βαθμολογιών UX-Lite. Οι διακεκομμένες κόκκινες γραμμές υποδεικνύουν το μέσο όρο των συστατικών από αυτήν τη μελέτη (71 για ευκολία, 73 για χρησιμότητα). Το Zoom και το QuickBooks έλαβαν τις υψηλότερες βαθμολογίες χρησιμότητας, ενώ το Zoom και το SurveyMonkey έλαβαν τις υψηλότερες βαθμολογίες ευκολίας.

Η αντιληπτή χρηστικότητα επηρεάζει την αφοσίωση

Το Σχήμα 3 δείχνει τις βαθμολογίες SUS για επικριτές, παθητικούς και υποστηρικτές (υπολογισμένες σε ατομικό επίπεδο για όλες τις αποκρίσεις· όλες οι διαφορές είναι σημαντικές με Π < .05).

Αυτό το σχήμα δείχνει ότι, κατά μέσο όρο, οι υποστηρικτές είχαν σκορ SUS λίγο πάνω από 84 (ένα A+ στο Καμπύλη κλίμακα βαθμολόγησης Sauro-Lewis). Αυτό το μοτίβο είναι συνεπές με την προηγούμενη έρευνά μας που διαπίστωσε ότι οι βαθμολογίες SUS πάνω από 80 έχουν καλή πιθανότητα να υποδεικνύουν υποκινητές. Ο μέσος όρος SUS για τα παθητικά ήταν 73 (a B− στην καμπύλη κλίμακα βαθμολόγησης Sauro-Lewis) και, για τους επικριτές, ήταν 58 (το 25^ου εκατοστημόριο, βαθμός Δ).

Προϊόν-Αγορά Fit

Σε αυτήν την αναφορά, συμπεριλάβαμε μια νέα ενότητα σχετικά με την αξιολόγηση του προϊόντος Προσαρμογής στην Αγορά (PMF), η οποία έχει τις ακόλουθες τέσσερις επιλογές απάντησης στην ερώτηση, „Πώς θα σας φαινόταν αν δεν μπορούσατε πλέον να χρησιμοποιήσετε αυτό το προϊόν;“

• Πολύ απογοητευμένος
• Κάπως απογοητευμένος
• Δεν απογοητεύτηκα (δεν είναι πραγματικά τόσο χρήσιμο)
• N/A – Δεν χρησιμοποιώ πλέον αυτό το προϊόν

Ο πιο συνηθισμένος τρόπος αναφοράς αποτελεσμάτων για το στοιχείο PMF είναι η βαθμολογία στο top-box (ποσοστό βαθμολογιών „Πολύ απογοητευμένος“), με έναν εμπειρικό κανόνα ότι το σημείο αναφοράς για επιτυχημένες startups είναι το 40%. (Για μοντελοποίηση ελαχίστων τετραγώνων, είναι δυνατή η εκχώρηση ενός αριθμού σε κάθε απάντηση, για παράδειγμα, 0 = δεν χρησιμοποιείται πλέον, 1 = δεν είναι πραγματικά τόσο χρήσιμο, 2 = κάπως απογοητευμένος και 3 = πολύ απογοητευμένος.)

Τα προϊόντα με τις υψηλότερες βαθμολογίες PMF top-box ήταν το AutoCAD και η Oracle (και τα δύο 26%). Τα προϊόντα με τις χαμηλότερες βαθμολογίες PMF top-box ήταν το GoToMeeting και το Tableau (και τα δύο 0%). Ακόμη και οι καλύτερες από αυτές τις βαθμολογίες ήταν χαμηλότερες από 40%, αλλά αυτό θα μπορούσε να οφείλεται σε πολλούς παράγοντες (π.χ. ώριμες και όχι νεοσύστατες εταιρείες, επιχειρηματικά προϊόντα και όχι καταναλωτικά προϊόντα, παρουσία επιτυχημένων ανταγωνιστών).

Χρήσιμο + Χρήσιμο = Αγορά μέσω Προτάσεων

Ένας τρόπος για να κατανοήσουμε καλύτερα τη σχέση μεταξύ των πολλαπλών μετρήσεων που συλλέγονται είναι μέσω ενός διαγράμματος διαδρομής χρησιμοποιώντας μοντελοποίηση δομικών εξισώσεων (ΟΙ ΟΠΟΙΕΣ). Το SEM μπορεί να παρέχει πληροφορίες για τις υποθετικές αιτιώδεις σχέσεις μεταξύ των μεταβλητών.

Το Σχήμα 4 δείχνει ένα μοντέλο δομικών εξισώσεων που χρησιμοποιεί τα δεδομένα σε όλα τα προϊόντα αυτής της μελέτης. Έχει καλά στατιστικά προσαρμογής (χ²(2) = 4,8, p = ,09; CFI = 1,00; RMSEA = 0,04; BIC = 57,6), που σημαίνει ότι το μοντέλο κάνει καλή δουλειά στην εξήγηση των δεδομένων. Υποστηρίζει μια υποθετική αιτιακή αλυσίδα από τα στοιχεία UX-Lite (Εύκολη, Χρήσιμη) έως την πιθανότητα σύστασης (LTR) έως την προσαρμογή προϊόντος στην αγορά.

Η παραλλαγή στα στοιχεία UX-Lite αντιπροσωπεύει περίπου το ήμισυ (47%) της διακύμανσης στο LTR και η διακύμανση στο LTR αντιπροσωπεύει σχεδόν το ένα τρίτο (31%) της διακύμανσης του μέσου όρου PMF (χρησιμοποιώντας την κλίμακα 0-3 σημείων του επιλογές απόκρισής του). Με άλλα λόγια, η βελτίωση της ευκολίας και της χρησιμότητας των προϊόντων πιθανότατα θα αυξήσει την πρόθεση συστάσεων των χρηστών, κάτι που με τη σειρά του θα βελτιώσει τις αξιολογήσεις της προσαρμογής προϊόντος-αγοράς.

Περίληψη

Η συγκριτική αξιολόγηση είναι ένα σημαντικό βήμα για τη βελτίωση της εμπειρίας χρήστη του λογισμικού και θα πρέπει να περιλαμβάνει μέτρα χρηστικότητας και αφοσίωσης. Τα κριτήρια αξιολόγησης τρίτων, όπως αυτά που περιγράφονται εδώ, συμπληρώνουν τα εσωτερικά προγράμματα συγκριτικής αξιολόγησης παρέχοντας περισσότερο πλαίσιο. Είναι πολύ πιο εύκολο να γνωρίζετε πόσο καλά τα πάει το προϊόν σας όταν ξέρετε πού βρίσκεται σε σχέση με τον ανταγωνισμό ή τον μέσο όρο του κλάδου.

Ο πλήρης κατάλογος των σημείων αναφοράς και η ανάλυση των αυτολεξεί απαντήσεων είναι διαθέσιμα για αγορά στην Έκθεση 2022 Net Promoter & UX Benchmark Report for Business Software.