Un'infrastruttura di test per un sistema PACS
0 likes415 views
Il documento tratta della progettazione e realizzazione di un'infrastruttura di test per un sistema PACS, evidenziando l'importanza dei test software per migliorare la qualità, ridurre errori e garantire certificazioni. Vengono descritti vari tipi di test, analisi di bug, e statistiche riguardanti l'efficacia dei test preesistenti. Infine, è presente un focus sull'automazione dei test e sulle strategie per garantire risultati misurabili e rapidi.
Un'infrastruttura di test per un sistema PACS
- 1. Progetto e realizzazione di un’infrastruttura di test per un sistema PACS
- 2. 1. Creazione 2. Esecuzione 3. Verifica 4. Manutenzione •Miglioramento qualità •Aumento del valore •Errori del software TEST Motivazioni (1) Perché testare il software
- 3. •Sviluppo dell’infrastruttura di test •Verifica dei risultati ottenuti Obbiettivi Migliorare il sistema dei test su O3-DPACS Definizione requisiti •Analisi del programma •Analisi del processo di testing •Identificazione dei problemi
- 4. Dispositivi mediciISO 13485 CEI EN 62340 Processo di verifica attraverso test Criteri di validazione Integrazione di unità software Test di integrazione Report dei risultati Ripetibilità dei test Motivazioni (2) Certificazione di qualità
- 5. Manuale di qualità •Bug •Miglioramento •Nuova funzionalità Nuovo caso (ISSUE) •Test dello sviluppatore •Test “integrazione” del PM •Test di rilascio N requisiti N+ test ISSUE A TEST TEST TEST ISSUE B TEST TEST TEST ISSUE random TEST TEST TEST obbligatori TEST TEST TEST Rilascio versione X.Y Analisi Il processo di testing preesistente
- 6. Versione release date # issue # test media test/issue 1.5 06/09 12 0 (-) 1.6 01/10 40 50 1.25 1.7 09/10 9 21 2.3 1.7.1 10/10 1 1 (-) 1.7.2 10/10 1 1 (-) 1.8 05/11 24 57 2.35 1.8.1 06/11 3 3 (1) 1.9 11/11 5 26 5.2 Media test per issue Versione Analisi storica dei test
- 7. ANNO PACS-CORE PACS-WEB WADO TOTALE minor major critical minor major critical minor major critical minor major critical 2008 0 4 0 0 5 0 0 0 0 0 9 0 2009 6 5 2 5 4 2 2 2 1 13 11 5 2010 14 7 1 4 1 4 3 1 0 21 9 5 2011 6 2 0 12 0 0 2 2 0 20 4 0 •Bug critici azzerati •Bug major dimezzati •Bug minor sempre elevati Analisi storica dei bug
- 8. Regression Test Unit Test •Frequenza bassa •Copertura limitata •Assenza quasi totale Metodo •Interpretazione •Zero automazione •Ripetibilità limitata Analisi Identificazione dei problemi
- 9. Protocolli •DICOM •HL7 •SOAP, HTTP Tecnologie •Java Enterprise •JBoss •Librerie varie (dcm4che, hapi, apache httpClient) •Oracle/MySQL (SQL Standard, StoredProcedure) •Hibernate •EJB 3 •JMX (Mbean) •Web (JSF, Richfaces, Flex) PACS diagnostica Workstation refertazione Web client Radiology Information System DICOM HL7 DICOM Analisi Il programma O3-DPACS “Picture Archiving and Communication System”
- 10. Componente % bug Servizi DICOM 23% Gestione del DBMS 14,5% Servizio di Worklist 12,5% Gestione dei servizi del PACS (ciclo di vita e configurazioni) 10,4% Altro 40% Tutte comunicano con il DBMS Priorità 1 2 3 4 … Aree a maggior incidenza di bug
- 11. Requisiti dei test Zero-configuration Indipendenti Requisiti dell’infrastruttura Unit-test framework Integration test DB testing Functional Testing Automazione Database File system EJB MBean Stored Procedure Classi DAO Hibernate Dicom HL7 Oracle MySQL Componenti testate Soluzione creata
- 12. package “it.units.htl.dpacs.helpers” Anonimizer Unit test Compression Unit test DateHelper Unit test DateTimeRange Unit test FileHasher Unit test GlobalConfigurationLoader Integration test (DBMS) MailerSystem Integration test (DBMS) PhysicalMediaTimerTask Integration test (DBMS) package “it.units.htl.dpacs.valueObjects” Tutte le classi (Privi di logica) package “it.units.htl.dpacs.core” VarLoader Unit test Package “it.units.htl.dpacs.dao” StoragePerformer Integration test (FileSystem) UserManager Integration test (DBMS) Tutte le altre classi Functional test (Classi EJB) UidGenerator Unit Test DcmFramesToMF Integration test (DB, FS) DcmQuerier Integration test (Dicom, networking) KosBuilder Unit test StudiesVerifierWorker Integration test (DBMS, FileSystem, networking) XdsMessageCreator Integration test (FileSystem, DBMS) … … CRITERI Unit-Test Comunica con DBMS Usa la rete Coinvolge il file system Necessita di configurazioni Veloce Ripetibile Indipendente Integration test Dipendenze da classi “unità” Accedono al FS Accedono al DB (indirettamente) Functional test Business Logic Comunicazione DICOM Comunicazione HL7 Classificazione delle componenti
- 13. Esempi
- 14. DATE TIME Expected output FROM TO FROM TO FROM TO X Y J K x.j <= DATA <= y.k X Y J - x.j <= DATA <= Y X Y - K X <= DATA <= y.k X Y - - X <= DATA <= Y - Y J K - <= DATA <= y.k - Y J - - <= DATA <= Y - Y - K - <= DATA <= y.k - Y - - - <= DATA <= Y X - J K x.j <= DATA <= - X - J - x.j <= DATA <= - X - - K X <= DATA <= - X - - - X <= DATA <= - - - J K J <= DATA <= K - - J - J <= DATA <= - - - - K - <= DATA <= K - - - - - <= DATA <= - Data: Ora: Da A 7/3/12 - 09:30 12:30 X Y J K Tecniche utilizzate Classi di equivalenza Valori al confine Combinazioni 7/3/12 09:30 -- X.J Y.K NULLI NON NULLI NULLI NON NULLI X, Y J, K Date: Ore: Esempio: DateTimeRange Analisi dello spazio degli input UNIT-TEST
- 15. Esempio: UidGenerator Esplorazione dei grafi T1 T2 T3 T4 Stato inizale X;Y;Z X;Y;Z X;Y;Z X;Y;Z Evento getNewStudy getNewSerie getNewInstance reset Effetto X++ Y++ Z++ X = newStudyUid(); Y = newSeriesUid(); Z = 1; Stato finale X+1;Y;Z X;Y+1;Z X;Y;Z+1 X’;Y’;Z’ Tabella delle transizioni UNIT-TEST 0-switch testing 1-switch testing Albero degli stati N-switch testing …
- 16. Classi DAO da testareClassi test (JUnit) Contesto JNDI DataSource Connessioni MySQL/Oracle Connessione DBUnit Nessuna configurazione Test di classi DAO DB-TESTING
- 17. Stored Procedure Un caso di test Due esecuzioni (MySQL/Oracle) Sintassi unificata (Stored Procedure) Nessuna configurazione (connessioni, hibernate) DB-TESTING Hibernate
- 18. Esempio: JMX MBean Utilizzo delle classi “Mock” Per componenti con: Numerose dipendenze Elevato accoppiamento INTEGRATION-TEST Classi “Fantoccio” Mockito + DicomMBean Mocked DicomMBean
- 19. Test senza JBoss Nessuna configurazione Esempio: servizi Dicom/HL7 FUNCTIONAL-TEST
- 20. Automazione
- 21. Script ANT per il build automatico Continuous Integration (CI): Codice su repository Commit frequente Tool di build automatico CI Server Automazione
- 22. Continuous Integration (CI): Codice su repository Commit frequente Tool di build automatico CI Server Download del codice Compilazione Configurazione Esecuzione test Report Automazione Tutto automatico Continuo
- 23. Risultati non misurabili Processo di test arricchito: • Unit test • DB Test (Dao, SP, Hibernate) • Classi con MBean • Test di servizi • Automazione dei test Risultati misurabili Tipo di test Prima Dopo Unit test 2-15 minuti Immediati ed automaticiFunctional test 15-60 minuti Risultati
- 24. Risultati non misurabili Processo di test arricchito: • Unit test • DB Test (Dao, SP, Hibernate) • Classi con MBean • Test di servizi • Automazione dei test Risultati misurabili Tipo di test Prima Dopo Unit test 2-15 minuti Immediati ed automaticiFunctional test 15-60 minuti Risultati FINE