Czy kryteria oceny ofert mogą być racjonalne?

Kolejne działania promocyjne i legislacyjne mające na celu najpierw zachęcenie, a obecnie zmuszenie zamawiających do wyboru oferty najkorzystniejszej ekonomicznie nie przyniosły oczekiwanych rezultatów. Stan pacjenta stale się pogarsza. W czym upatrujemy nadzieję na zmiany?

Krótka historia kryteriów pozacenowych

Zacznijmy od tego, że przez pierwszych dziesięć lat funkcjonowania zamówień publicznych w Polsce nie było problemu ze stosowaniem kryteriów pozacenowych.

Były stosowane powszechnie tam, gdzie warto było je stosować. Przyjmowaliśmy zasady obowiązujące w Banku Światowym oraz w PRAG, według którego wydawano fundusze przedakcesyjne: roboty budowlane należy kupować po najniższej cenie, a przy zamawianiu usług intelektualnych najważniejsze jest zapewnienie odpowiedniego poziomu jakości. Już ta prosta zasada wnosiła dożo racjonalności w procesy inwestycyjne, czyli największe zamówienia. Fakt, że w wielu przypadkach stosowano kryteria odnoszące się do wiarygodności wykonawcy.

Na marginesie: wszyscy poza zamawiaczami, a nawet zamawiacze w prywatnych decyzjach kierują się kryteriami: cena - jakość - wiarygodność. Ciekawe dlaczego to oczywiste dla wszystkich podejście jest zakazane w UE i czy doczekamy czasów, że nie będzie (tak, jak okazało się, że organizacja zespołu i kwalifikacje personelu zawsze były legalnymi kryteriami).

Wszystko zmieniło się wraz z wejściem do Unii. Po pierwsze, zakazano kryteriów podmiotowych, po drugie, zatrudniono w kontroli zamówień unijnych „młodych-zdolnych”, acz nie mających żadnych doświadczeń w zamówieniach. I tak oto ogon zaczął wywijać kotem.

Z czasem zamawiający, zarzuceni zarzutami, zaczęli odstępować od stosowania kryteriów pozacenowych. Fundusze wymyśliły standardy kontroli nieistniejące gdzie indziej, zwłaszcza w starych krajach Unii. Nie dotyczy to, oczywiście jedynie kryteriów: kontrola źle patrzyła na inne tryby, niż przetarg nieograniczony, na inne wynagrodzenie niż ryczałtowe itp., itd. Polacy Polakom zgotowali ten los. Zakrólował przetarg nieograniczony rozstrzygany po najniższej cenie z ryczałtową umową.

Już dziesięć lat temu rząd zaczął propagować odwrót z tej drogi. W ramach „Nowego podejścia do zamówień publicznych” propagowano stosowanie kryteriów pozacenowych, innych trybów, niż przetarg nieograniczony itd. Bez odzewu. Później Chińczycy zeszli z budowy A2 – ileż było dyskusji, artykułów, wypowiedzi sejmowych i rządowych. Wszyscy zgodnie twierdzili (jak zwykle po szkodzie, ale lepiej późno, niż wcale), że należy stosować kryteria pozacenowe. Bez rezultatu. Przez całe lata w 90% zamówień cena była jedynym kryterium.

Nie mogąc zadziałać „miękko”, rząd postanowił wprowadzić przymus stosowania kryteriów pozacenowych. Rezultat był śmieszny.

Wszyscy się dostosowali: poza kryterium cena o wadze 95-99% zaczęto stosować inne kryteria, najczęściej termin o wadze 1-5%. Po pierwsze, nie miało to żadnego wpływu na wyniki przetargów, po drugie stanowiło zaprzeczenie powszechnej (poza zamówieniami) wiedzy, że „tanio to źle, ale tanio i szybko to jeszcze gorzej”. Już to doświadczenie powinno nauczyć ustawodawcę, że nie da się zmienić rzeczywistości poprzez zmianę przepisu, jesteśmy przecież mistrzami w obchodzeniu prawa.

Zamiast zidentyfikować i usunąć źródła problemu, postanowiono zaostrzyć przepis i zmusić zamawiających do stosowania kryteriów pozacenowych o wadze co najmniej 40%. Rezultat był łatwy do przewidzenia: zamiast kryteriów jakościowych zaczęto stosować „na odczepnego” triadę głupich, a prostych i policzalnych kryteriów: cena – 60%, termin – 20%, gwarancja – 20%. Bezmyślność stosowania tych kryteriów poraża: zdarza mi się dostać zapytanie o szkolenie z kryterium gwarancji (sic!), a znajoma oblała ostatnio rozmowę kwalifikacyjną, gdyż nie wyraziła zachwytu dla stosowanej w instytucji polityki kupowania tłumaczeń na podstawie kryterium gwarancji (sic!).

W większości przypadków stosowana obecnie triada kryteriów nie ma żadnego wpływu na wynik postępowania. Na szczęście.

Zdarzają się jednak sytuacje, gdy wygrywa oferta znacznie droższa, lecz oferująca wykonanie zamówienia trochę szybciej. To już nie jest śmieszne – to jest straszne. Jak wykazać w takim przypadku zgodność z zasadami finansów publicznych? Jak wykazać, że warto było zapłacić wiele tysięcy więcej za kilka dni/tygodni skrócenia terminu? To jest lub może być niemożliwe. Taka praktyka dopiero spotka się ze słusznymi zarzutami kontroli.

Różne strategie zakupowe

Nie wiem, kto wymyślił i propaguje triadę głupich kryteriów. Wiem, że jest ona właściwa bardzo rzadko. Bardzo rzadko odpowiada rzeczywistym, uzasadnionym preferencjom zamawiającego.

Nie podejmę się wskazywania odpowiednich kryteriów, gdyż odpowiednie kryteria zależą od wielu okoliczności. Znam różne strategie zakupowe i nie podejmuję się rozstrzygać o wyższości którejś z nich. Weźmy na przykład zamawianie robót budowlanych. Z jednej strony, jak już było wspomniane, Bank Światowy wykluczał i nadal wyklucza stosowanie kryteriów pozacenowych na wykonanie robót budowlanych. Z drugiej strony, brytyjska Highways Agency w przetargach (raczej negocjacjach z ogłoszeniem) na budowę autostrad stosuje kryterium jakościowe o wadze 60-70%.

W ramach kryterium „jakość” ocenie podlegają trzy podkryteria:

  • Oświadczenie o jakości – 50%
  • Zapewnienie kluczowego personelu – 15%
  • Oferowana metodologia – 35%

Oświadczenie o jakości, w zależności od specyfiki zamówienia, może odnosić się w szczególności do następujących kwestii (subkryteriów):

  • zaproponowane ulepszenia dokumentacji projektowej wychodzące naprzeciw wymaganiom zamawiającego,
  • projekt organizacji pracy na terenie budowy,
  • efektywne zarządzanie, komunikacja i współpraca z kierownikiem projektu, zamawiającym, podwykonawcami i podmiotami trzecimi,
  • zapewnienie płatności na rzecz podwykonawców,
  • zarządzanie jakością, zapewnienie niezależnej kontroli jakości, minimalizacja uchybień, efektywne wykorzystanie środków produkcji,
  • kontrola kosztów, dotrzymanie budżetu, zdolność prognozowania rocznych budżetów i ceny końcowej,
  • dotrzymanie harmonogramu, kamieni milowych, szybkość reakcji na zdarzenia.

Komisja przetargowa ocenia, które „oświadczenie o jakości” zapewni zamawiającemu najwyższe przekonanie, że cele wykonawcy zostaną osiągnięte oraz zapewniony będzie stały wzrost jakości. Oceniane jest podejście wykonawcy do wybranych kwestii (subkryteriów) według skali od 1 do 10 punktów.

Dla oceny podkryterium „Zapewnienie kluczowego personelu”, wykonawca zobowiązany jest przedstawić dane dotyczące kluczowego personelu, który jest oceniany w ramach kryterium nie za posiadane wykształcenie i doświadczenie, lecz za jego adekwatność do roli w trakcie realizacji zamówienia.

Jeśli chodzi o „Oferowaną technologię”, na odczepnego wymagania w tym zakresie mogą obejmować, w zależności od specyfiki zamówienia, następujące kwestie (subkryteria):

  • harmonogram realizacji zamówienia,
  • harmonogram wykorzystania zasobów w sposób wystarczająco szczegółowy, aby zidentyfikować poszczególne zasoby i środki dla każdej operacji w ramach harmonogramu,
  • opis podejścia do realizacji każdej operacji w ramach harmonogramu,
  • identyfikacja ryzyka, opis spodziewanego wpływu ryzyka na harmonogram i koszty, opis proponowanych działań w celu uniknięcia lub zmniejszenia ryzyka (nie może zawierać żadnych realokacji ryzyka).

Oceniane jest podejście wykonawcy do wybranych kwestii (subkryteriów) według skali od 1 do 10 punktów. Zasady przyznawania punktów są opisane w Raporcie z badania pt. „Ewaluacja rozwiązań stosowanych w celu oceny i wyboru ofert w postępowaniach o udzielenie zamówienia publicznego w projektach drogowych i kolejowych realizowanych w ramach POIiŚ wobec rozwiązań stosowanych w innych krajach członkowskich UE”. Badanie zostało przeprowadzone na zlecenie Ministerstwa Infrastruktury i Rozwoju przez konsorcjum firm: Agrotec Polska Sp. z o.o. oraz Centrum Zamówień Publicznych Sp. z o.o. a Raport jest dostępny w internecie od pięciu lat (również na mojej stronie).

To są dobre przykłady kryteriów, których celem jest ocena jakości prac, które mają zostać wykonane. Jakże daleko od tego podejścia jest polska triada głupich kryteriów.

Więcej przykładów takiego podejścia zawarłem w Poradniku opracowanym na zlecenie Urzędu Zamówień Publicznych i dostępnym na stronie https://www.uzp.gov.pl/baza-wiedzy/wzorcowe-dokumenty/pozacenowe-kryteria-oceny-ofert. Czy te propozycje ktoś wykorzysta?

Skąd wziąć odpowiednie kryteria?

Przy doborze właściwych kryteriów i ich wag, najwłaściwszym podejściem jest zastosowanie jednej z metod wspomagania podejmowania decyzji. Metody te, rozwijane na potrzeby podejmowania różnych skomplikowanych decyzji, z powodzeniem nadają się do rozwiązania problemów: jakie kryteria? i jakie wagi?

Kilka z tych metod mogłoby być stosowane (a włoskie przepisy wymagają zastosowania jednej z nich):

  1. metoda substytucyjności,
  2. Proces Hierarchii Analitycznej (AHP - Analytical Hierarchy Process),
  3. metody Electre (ELimination Et Choix Traduisant la Realia),
  4. metody Promethee (Preference Ranking Organisation METHod for Enrichment Evaluations),
  5. TOPSIS (Technique for Order Preference by Similarity to Ideal Solution),
  6. EVAMIX.

We wspomnianym Poradniku opisuję (a na szkoleniach również ćwiczymy) stosowanie Procesu Hierarchii Analitycznej. Wydaje się, że jest to wystarczająco prosta i dokładna metoda określenia wag kryteriów (zainteresowanych odsyłam na stronę UZP lub moją). W tym miejscu chciałbym zaproponować dwie metody jeszcze prostsze.

1. Hierarchizacja kryteriów pomija etap identyfikacji kryteriów i służy do określenia wzajemnych wag określonych wcześniej kryteriów. Zakładając, że zidentyfikowano pięć właściwych kryteriów, należy sporządzić tabelę jak niżej:

  Kryterium 1   Kryterium 2    Kryterium 3     Kryterium 4     
Kryterium 1  
Kryterium 2  
Kryterium 3     
Kryterium 4       
Kryterium 5        

W poszczególnych komórkach na przecięciu wiersza i kolumny należy wpisać numer kryterium, które z tych dwóch jest ważniejsze. Np. w poniższej tabeli zapisano, że kryterium 1 jest ważniejsze od każdego z pozostałych, że kryterium 2 jest ważniejsze od kryterium 3 a mniej ważne od kryterium 4 i 5:

  Kryterium 1   Kryterium 2    Kryterium 3     Kryterium 4     
Kryterium 1  
Kryterium 2 1
Kryterium 3  1 2
Kryterium 4  1 4 3
Kryterium 5 1 5 4

Następnie należy zliczyć ile razy każde z kryteriów występuje w tabeli:

Kryterium    Liczba wystąpień Wagi 
Kryterium 1  4  40%
Kryterium 2  1  10%
Kryterium 3  1  10%
Kryterium 4  2  20%
Kryterium 5  2  20%


Wagi mogą zostać obliczone jako proporcja liczby wystąpień w ogólnej liczbie pól. Metoda nie pozwala na precyzyjne określenie wag, ale na pewno jest lepsza od żadnej, a także od społecznego dowodu słuszności (wszyscy tak robią) i historycznego dowodu słuszności (od dawna tak robimy). Ciekawe czy przy pomocy tej prostej metody ktoś osiągnąłby wagę ceny i terminu 20%. Raczej nie – bez wyraźnej przyczyny, której nie wykluczam.

2. Monetaryzacja kryteriów polega na przypisaniu wszystkim kryteriom wartość pieniężnej. Staramy się odpowiedzieć na pytanie: ile to jest dla nas warte? ile jesteśmy gotowi zapłacić więcej?

Załóżmy budowę kanalizacji za 1 mln zł w maksymalnym terminie 40 tygodni. Załóżmy, że technicznie jest możliwe skrócenie terminu realizacji o 20%, czyli 8 tygodni. Ile jest warte skrócenie terminu o (dane „z sufitu”, lecz znacznie poniżej 20%):

Okres skrócenia w tygodniach   Wartość w zł
 1-2  20 000
 3-4  40 000
 5-6  60 000
 7-8  80 000

 Załóżmy standardową gwarancję 5-letnią i możliwość jej wydłużenia do 10 lat. Ile jest warte wydłużenie gwarancji o każdy rok (dane „z sufitu” jednak z uwzględnieniem zasady, że każdy kolejny rok cenimy bardziej):

Okres wydłużonej gwarancji w latach  Wartość w zł
6 10 000
7 20 000
8 50 000
9  100 000
10 180 000

 Załóżmy, że wymagamy kierownika budowy z uprawnieniami oraz preferujemy takiego, który ma duże doświadczenie w realizacji robót poniżej poziomu wody gruntowej (bo taki mamy teren). Ile chcielibyśmy dopłacić za 9 miesięcy pracy takiego kierownika:

Doświadczenie kierownika budowy
w latach
 Wartość w zł
2-3  18 000
4-5  27 000
6-7  36 000
8-9  48 000
>10 56 000

Jak wyglądałaby ocena takich hipotetycznych ofert:

  Oferta 1  Oferta 2  Oferta 3 
Cena    1 000 000  1 200 000  990 000
 Skrócenie terminu o tygodni:  5 7 3
 Zmniejszenie ceny za termin  - 60 000   - 80 000  - 40 000
 Wydłużona gwarancja do lat  6 10 5
 Zmniejszenie ceny za gwarancję  - 10 000  - 180 000  0
 Doświadczenie kierownika  10 15 2
 Zmniejszenie ceny za kierownika  - 56 000  - 56 000  - 18 000
 Cena skorygowana  874 000  884 000  932 000

Cena skorygowana służy, oczywiście, jedynie do porównania ofert i wyboru oferty najkorzystniejszej. Umowa jest zawierana na rzeczywistą cenę zaproponowaną w ofercie najkorzystniejszej.

Mniejsza o dane wzięte „z sufitu”. Ważniejsze, że takie podejście pozwala na rozważanie dylematów: czy rzeczywiście chcemy płacić za skrócenie terminu realizacji 10 tysięcy złotych za każdy tydzień? czy nie warto zapłacić 200 tysięcy więcej za 10-letni okres gwarancji? ile więcej powinien zarabiać doświadczony kierownik budowy? itd., itp. Rozumowanie takie mogłoby zapobiec stosowaniu nierozsądnych kryteriów i ich wag, w szczególności terminu o wadze 20%.

Pozostaje, niestety, następujące zagadnienie: czym wypełnić brakujące kryteria, aby dopełnić do wagi 40%. Jakością, oczywiście. Ale to już odrębny problem.

 

Powyższy tekst ukazał się na łamach Miesięcznika Zamówenia Publiczne. Doradca.

Autor: Dariusz KOBA