Powinieneś stworzyć odtwarzalny przypadek testowy, który ostatecznie zademonstruje błąd. Jeśli masz taką pewność, a oprogramowanie jest tak szeroko stosowane, gwarantuje publikację w czasopiśmie technicznym. Kluczowe jest zaangażowanie firmy. Pokaż im swój przypadek testowy i wspomnij, że jesteś zainteresowany opublikowaniem wyniku. Zaproponuj współpracę z nimi przy publikacji. W ten sposób będą zmuszeni albo pokazać, że się mylisz, albo przyznać, że masz rację. W tym drugim przypadku oszczędzają twarz przyznając się do problemu. Jeśli cię ignorują, idź naprzód.

Techniczna odpowiedź na pytanie wydaje się oczywista: jeśli istnieje jasna definicja tego, co oznacza „optymalny” dla twoich problemów, uruchom oba programy i zobacz, który wygrywa, a następnie opublikuj wyniki.

Wszelkie porady dotyczące polityki , jak postępować, są jedynie spekulacjami, dopóki nie wykonasz technicznej pracy, aby odkryć fakty sprawy.

Te rzeczy zdarzyć. Kiedyś odkryliśmy „błąd szkolny” w jednym ze standardowych pakietów oprogramowania w tej dziedzinie. Na spotkaniu, na którym przedstawiliśmy wyniki, mieliśmy trzech starszych członków zespołu deweloperskiego dostawcy (w sumie około 300 osób) siedzących z głowami w dłoniach, doskonale wiedząc, że gdybyśmy chcieli, moglibyśmy zniszczyć może 75% ich międzynarodowa baza użytkowników. (Niektórzy z pozostałych 25% nie rozumieliby, o co tyle zamieszania, a jak na ironię, ich najwięksi indywidualni klienci prawdopodobnie używali systemów komputerowych, w których błąd i tak nie wystąpił - co może wyjaśniać, dlaczego nikt inny nie zauważył go w około 10 poprzednich lat).

Ale nam przyniosło znacznie więcej korzyści w naprawieniu problemu niż nukowaniu oprogramowania, więc wybraliśmy opcję „Napraw to jak najszybciej” - i „JAK NAJSZYBCIEJ” „faktycznie zajęło to około 2 tygodni, aby uzyskać wersję beta-testową.

Mam przykład pokazujący, że rozwiązanie stworzone przez powszechnie używany pakiet oprogramowania nie jest rozwiązaniem optymalnym, mimo że oprogramowanie tak twierdzi.

To wydaje się być dużo zamieszania, prawdopodobnie o nic.

Przeczytaj dokumentację oprogramowania , jeśli taka istnieje. Powinien wyjaśnić, w jakich przypadkach deklaruje „rozwiązanie znalezione”. Zwykle jest tak, że wskazuje to, że kilka parametrów związanych z warunkiem koniecznym dla optymalności jest wystarczająco małych, co wskazuje, że prawdopodobnie znaleziono rozwiązanie. Brak gwarancji.

Jeśli nie możesz znaleźć przyczyny takiego zachowania w dokumentacji, napisz do programisty z minimalnym działającym przykładem, w którym występuje nieoczekiwane zachowanie, i poproś o wyjaśnienie.

Mam przykład pokazujący, że rozwiązanie stworzone przez powszechnie używany pakiet oprogramowania nie jest rozwiązaniem optymalnym, mimo że oprogramowanie twierdzi, że tak jest.

Oprogramowanie może więc twierdzić zbyt wiele. Nie jest to takie rzadkie.

Więc nie jestem pewien, jak zgłosić ten błąd; jest to zastrzeżone oprogramowanie o zamkniętym kodzie źródłowym. W pierwszej kolejności mógłbym skontaktować się z twórcą oprogramowania w sprawie błędu, chociaż wydaje się, że nie mają oni prostej metody zgłaszania błędów.

Kontaktowanie się z producentem w dowolny odpowiedni sposób, jeśli żaden szczególny sposób nie jest wskazany, byłaby to zalecana procedura, jeśli chcesz pomóc producentowi (a tym samym pośrednio także sobie i innym). Po prostu upewnij się, że błąd naprawdę istnieje i dokładnie go wyjaśnij, aby można go było odtworzyć.

Jednak większym problemem jest to, że artykuły opublikowane z wynikami opartymi na błędnym oprogramowaniu mogą zostać naruszone.

Prawdopodobnie całe oprogramowanie zawiera błędy. Bez znajomości szczegółów trudno jest ocenić powagę tej sprawy. Jednak zawsze dobrze jest nie polegać zbytnio na jednym pakiecie oprogramowania, ale testować także produkty równoległe. Możesz sprawdzić te dokumenty i zobaczyć, czy dotyczy ich błąd, a jeśli tak, to w jakim stopniu.

Co się stanie, jeśli ostateczna poprawka spowoduje, że oprogramowanie będzie działać znacznie dłużej, więc że uruchomienie na dużych instancjach jest teraz niewykonalne?

Naprawione oprogramowanie, które zajmuje więcej czasu, aby poprawnie rozwiązać problem, jest zawsze preferowane niż wadliwe, szybkie oprogramowanie. Oznaczałoby to po prostu, że poprawne rozwiązania dla dużych instancji nigdy nie były do ​​tej pory wykonalne.

Poinformowałem swojego doradcę o problemie, ale nie wydaje się on zbytnio zainteresowany, prawdopodobnie z powodu potencjalnych konsekwencji.

Może nie przejmuje się zbytnio używaniem oprogramowania wolnego od błędów lub nie jest jeszcze przekonany o istnieniu błędu lub jest po prostu zbyt leniwy, by przeszkadzać firmie lub nie chce żadnego konfliktu.

Obecnie pracuję nad projektem, w którym mógłbym użyć tego oprogramowania; Teraz nie ufam temu i przeszedłem na znacznie mniej wydajną alternatywę typu open source.

To naturalne, że stracisz trochę zaufania, ale może nie wszystko. Możesz dokładnie ocenić stare oprogramowanie (pamiętając, że czasami pojawiają się błędy), jeśli nadal można mu ufać w szczególnych okolicznościach Twojego projektu, a następnie zdecydować, czy chcesz go używać, czy też chcesz używać obu projektów oprogramowania, chcę używać tylko alternatywnego oprogramowania (które również może być błędne, więc nie ufaj temu całkowicie).

Więc wydaje mi się, że moje pytanie brzmi: jak mam sobie z tym poradzić?

• Powinieneś skontaktować się z firmą i napisać krótką wiadomość z informacją o błędzie. Mogą szybko to naprawić, przywracając zaufanie.
• Możesz również opublikować błąd (na swoim blogu, na liście mailingowej, nawet jako raport techniczny, jeśli błąd jest wystarczająco ważny i dziennik jest tym zainteresowany ), więc inni są tego świadomi, zwłaszcza jeśli firma nie naprawia tego szybko.
• Powinieneś użyć dwóch posiadanych pakietów oprogramowania i porównać je. Załóżmy, że oba mogą mieć błędy, o których jeszcze nic nie wiesz.

Myślę, że pierwsze pytanie, na które musisz odpowiedzieć, dotyczy tego, jak bardzo to jest problemem. Czy to tylko skrajny przypadek? Czy „optymalne” rozwiązanie jest tylko nieznacznie lepsze? Trudno powiedzieć wiele bez dalszych szczegółów na temat rzeczywistego przypadku użycia i rozwiązań. Z niektórymi problemami z optymalizacją / dopasowaniem, nad którymi pracowałem w ramach doktoratu, można było zawsze szukać „bardziej” optymalnych rozwiązań, ale w zależności od tego, jak zaszumione były dane, w rzeczywistości nie oznaczało to, że nowe rozwiązania były „lepsze” . Mając dobre zrozumienie zestawu problemów i podstawowych algorytmów optymalizacji, powinieneś być w stanie dowiedzieć się, co dokładnie dzieje się nie tak z oprogramowaniem o zamkniętym kodzie źródłowym i czy istnieje rzeczywisty problem.

resztę tej dyskusji zamierzam założyć, że próbujesz znaleźć optymalne dopasowanie do pewnego rodzaju zbioru danych empirycznych. Jeśli tak, efektywnie przeszukujesz jakąś przestrzeń parametrów chi ^ 2, znalezienie bardziej optymalnego dopasowania może oznaczać bardzo różne rzeczy, np.

1. Twoja przestrzeń chi ^ 2 jest hałaśliwa i " lepsze ”rozwiązanie tak naprawdę nic nie znaczy
2. Zastrzeżony system utknął w lokalnym minimum i nie znajduje znalezionego globalnego minimum
3. Oboje badacie to samo minimum globalne, ale Twoje rozwiązanie jest nieco bliżej

W efekcie proces znajdowania optymalnego rozwiązania może być bardzo trudny i istnieje wiele różnych algorytmów, których można użyć, z których każdy ma swoje zalety i wady. Jeśli masz płynnie zmieniającą się zależność między parametrami dopasowania a chi ^ 2, prawie każda metoda optymalizacji może znaleźć minimum, ale życie nie zawsze jest takie proste. Wszystko po to, aby powiedzieć, że nawet jeśli znalazłeś lepsze optimum w jednym konkretnym problemie, nie oznacza to, że oprogramowanie jest śmieciami i powinno zostać wyrzucone. W szczególności, jak znalazłeś lepsze optimum? Czy możesz ogólnie zastosować tę samą metodę do tego rodzaju problemów optymalizacyjnych? Czy zawsze będzie lepiej pasować? Jeśli odpowiedź na którekolwiek z tych dwóch ostatnich pytań brzmi „nie”, powiedziałbym, że tak naprawdę nie ma tu nic wielkiego. Najprawdopodobniej jedynym prawdziwym problemem jest nadgorliwy marketingowiec z daną firmą programistyczną, który obiecał rzeczy, których żaden system oprogramowania nie jest w stanie realistycznie dostarczyć.

Podsumowując, powiedziałbym, że zanim naprawdę zaczniesz z tym korzystać, musisz naprawdę szczegółowo zrozumieć, dlaczego ich algorytm nie znajduje najbardziej optymalnego rozwiązania, a jeśli to ma znaczenie w praktyce.

Widziałem dobrze znane komercyjne pakiety optymalizacyjne, takie jak CPLEX, które generowały błędne wyniki pod naporem, że tak powiem - rozwiązując problemy, które można rozwiązać na papierze za pomocą tego oprogramowania, ale w praktyce wystarczająco różni się od tego, co jest testowane włączone i skierowane do.

Przez błędne rozumiem tak źle, jak tylko się da, tj. problem optymalizacji liniowej jest zgłaszany jako niewykonalny, podczas gdy żądanie wytworzenia certyfikatu niewykonalności kończy się niepowodzeniem (i jeśli zostanie rozwiązany z większą precyzją na wolniejszy open source, problem okazuje się możliwy).

Z pewnością wcześniej czy później błąd, jeśli wystąpił błąd, zostanie znaleziony i ujawniony, tak działa nauka. Nawiasem mówiąc, w ostatnich kilku latach publikowałem artykuły, w których między innymi poprawiam błędy w monografii i podręcznikach (sic!); Odpowiednie błędne artykuły zostały opublikowane ponad 20 lat temu. No cóż.