Spedytor AI – techniczne aspekty przełomowego eksperymentu

Sztuczna inteligencja dynamicznie zmienia oblicze branży Transport-Spedycja-Logistyka (TSL), usprawniając analizę danych, automatyzując procesy oraz wspierając podejmowanie decyzji. W ramach eksperymentu przeprowadzonego przez RST Software we współpracy z Wyższą Szkołą Logistyki w Poznaniu, nasze narzędzie, wykorzystujące AI uzyskało wynik 84,3% na egzaminie zawodowym na spedytora, przekraczając wymagany próg zaliczenia wynoszący 75%.

To osiągnięcie jest dowodem na to, że sztuczna inteligencja może wspierać spedytorów w codziennych obowiązkach, automatyzując powtarzalne zadania, analizując dokumenty oraz optymalizując trasy transportowe. W tym artykule przedstawiamy techniczne szczegóły eksperymentu oraz wyzwania, z którymi musieliśmy się zmierzyć.

Wyzwania eksperymentu

Państwowy egzamin na spedytora składa się z dwóch części:

• Pisemnej – obejmującej 60 pytań testowych jednokrotnego wyboru (A-D).
• Praktycznej – wymagającej rozwiązania zadania i napisania odpowiedzi.

Ze względu na ograniczenia metod oceny jakości odpowiedzi otwartych przez modele AI, w naszym eksperymencie skupiliśmy się wyłącznie na części pisemnej. Naszym celem było sprawdzenie, w jakim stopniu AI jest w stanie poprawnie odpowiadać na testowe pytania egzaminacyjne.

Przygotowanie pytań do testu

Aby przeprowadzić test, musieliśmy wyodrębnić pytania egzaminacyjne do formy tekstowej. Proces ten wymagał parsowania plików PDF zawierających pytania z egzaminów z lat 2016–2024. Pojawiły się przy tym następujące wyzwania:

• Pytania zawierające obrazy – 10-15% pytań w testach egzaminacyjnych zawierało grafiki, które zostały usunięte podczas konwersji do formy tekstowej. Modele AI nie były w stanie odpowiedzieć na te pytania.

• Problemy z odczytem plików – niektóre pytania nie zostały poprawnie wyodrębnione, ale uznaliśmy to za pomijalne na etapie testu.
• Tabele w pytaniach – parsing poradził sobie z ekstrakcją danych z tabel, co pozwoliło na zachowanie ich treści w zestawie pytań.

‍

Struktura myślenia modelu AI

Aby zwiększyć skuteczność AI w rozwiązywaniu egzaminu, narzuciliśmy modelom konkretną metodologię analizy:

1. Wyciągnięcie kluczowych informacji z pytania (key_insights)
2. Rozważenie wszystkich dostępnych odpowiedzi (reasoning)
3. Krytyczne spojrzenie na każdą z nich (alternative_considerations)
4. Ocena pewności wyboru odpowiedzi (confidence)
5. Ostateczny wybór odpowiedzi (selected_answer)

Zmiana tej kolejności pogarszała wyniki każdego modelu, dlatego kluczowe było zachowanie strukturalnego podejścia do podejmowania decyzji.

Ponadto, modele nie zawsze były w stanie określić jednoznacznie poprawnej odpowiedzi – jeśli pewność była niższa niż 1, często wybierały błędną opcję.

Dodatkowym wyzwaniem było wymuszenie na modelach odpowiedzi wyłącznie w formie jednej wybranej litery (A, B, C lub D) bez dodatkowego tekstu. Wymagało to precyzyjnego zaprogramowania procesu generowania odpowiedzi.

Wyniki testu

Podczas eksperymentu sprawdziliśmy ponad 15 różnych modeli LLM, które przetworzyły łącznie ponad 20 milionów tokenów. System został przetestowany na 1550 pytaniach egzaminacyjnych z lat 2016–2024.

Osiągnięte wyniki:

• Średni wynik: 84,3% (zaliczenie egzaminu wymagało 75%).
• Najlepszy rezultat: 89,4% – egzamin z 2019 roku.

Wyniki z podziałem na modele LLM:

• Claude 3.5 osiągnął najlepszy wynik.
• GPT-4.0, Grok 2 i Gemini uzyskały bardzo zbliżone rezultaty.
• Najgorzej wypadł Llama 3 – najstarszy model w tym zestawieniu.
• Chiński DeepSeek osiągnął bardzo wysokie wyniki przy najniższych kosztach operacyjnych, co czyni go interesującą alternatywą do dalszych badań.

Wnioski i dalsze kierunki rozwoju

Eksperyment pokazał, że sztuczna inteligencja może skutecznie analizować testy egzaminacyjne, wykazując dużą skuteczność w znajdowaniu poprawnych odpowiedzi. To otwiera drzwi do dalszego wykorzystania technologii w automatyzacji procesów logistycznych, planowaniu tras, zarządzaniu zasobami czy optymalizacji kosztów transportu.

Nasze badanie dowodzi, że AI nie zastąpi (przynajmniej na razie) spedytorów – gdyż napotyka ono trudności w obszarach wymagających negocjacji, budowania relacji z kontrahentami czy interpretacji kontekstu emocjonalnego. Zyskają za to ci spedytorzy, którzy będą w stanie efektywnie wykorzystywać AI do swojej pracy.

W RST Software nie tylko badamy potencjał AI, ale także wdrażamy realne rozwiązania dla firm transportowych. Jeśli chcesz dowiedzieć się więcej o możliwościach AI w logistyce, skontaktuj się z nami – wspólnie znajdziemy rozwiązanie dostosowane do Twoich potrzeb.